CN114708463A - 一种岩石标本图像智能识别方法 - Google Patents

一种岩石标本图像智能识别方法 Download PDF

Info

Publication number
CN114708463A
CN114708463A CN202210504978.6A CN202210504978A CN114708463A CN 114708463 A CN114708463 A CN 114708463A CN 202210504978 A CN202210504978 A CN 202210504978A CN 114708463 A CN114708463 A CN 114708463A
Authority
CN
China
Prior art keywords
model
data set
training
image
rock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210504978.6A
Other languages
English (en)
Inventor
欧发辉
赖富强
刘粤蛟
蒋国强
周欢焕
张晓树
刘源琦
夏小雪
闵宣霖
谭先锋
周伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN202210504978.6A priority Critical patent/CN114708463A/zh
Publication of CN114708463A publication Critical patent/CN114708463A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域,具体涉及一种岩石标本图像智能识别方法,包括构建岩石标本数据集;构建生成对抗网络模型,将岩石标本数据集输入生成对抗网络模型进行训练,得到增强图像数据集;将增强图像数据集划分为训练集和测试集;获取模型参数;构建识别分类模型,基于模型参数对识别分类模型的参数进行调整,得到调整模型;使用训练集和测试集对调整模型进行训练,得到识别分类最优模型;将待测岩石标本图像输入最优模型,得到识别结果,本发明通过构建最优模型对岩石进行自动识别,准确率较高,解决了人工对岩石识别的准确率较低的问题。

Description

一种岩石标本图像智能识别方法
技术领域
本发明涉及图像数据处理技术领域,尤其涉及一种岩石标本图像智能识别方法。
背景技术
岩性快速识别具有重要的基础地质研究意义与工程应用价值。
传统的岩性识别方法通过人工直接观察、薄片鉴定、实验分析等。
采用上述方式的传统识别方法对人工识别经验要求高,受硬件设施限制大,在面对海量图片数据时,无法快速、准确地完成图像岩性识别,降低了对岩石识别的准确率。
发明内容
本发明的目的在于提供一种岩石标本图像智能识别方法,旨在解决人工对岩石识别的准确率较低的问题。
为实现上述目的,本发明提供了一种岩石标本图像智能识别方法,包括以下步骤:
S1构建岩石标本数据集;
S2构建生成对抗网络模型,将所述岩石标本数据集输入所述生成对抗网络模型进行训练,得到增强图像数据集;
S3将所述增强图像数据集划分为训练集和测试集;
S4获取模型参数;
S5构建识别分类模型,基于所述模型参数对所述识别分类模型的参数进行调整,得到调整模型;
S6使用所述训练集和所述测试集对所述调整模型进行训练,得到识别分类最优模型;
S7将待测岩石标本图像输入所述最优模型,得到识别结果。
其中,所述构建岩石标本数据集的具体方式为:
S11收集岩石标本图片;
S12根据地质岩石标本划分方案对所述岩石标本图片进行分类鉴别,得到岩石类型;
S13基于所述岩石类型构建岩石标本数据集。
其中,所述生成对抗网络模型包括生成模型和判别模型。
其中,所述将所述岩石标本数据集输入所述生成对抗网络模型进行训练,得到增强图像数据集的具体方式为:
S21对所述岩石标本数据集进行预处理,得到预处理数据集;
S22将所述预处理数据集输入到所述生成模型中,得到伪造图像;
S23所述伪造图像和所述预处理数据中与所述伪造数据对应的真实图像输入至所述判别模型中进行学习和判断,得到判断反馈;
S24基于所述判断反馈对所述生成模型和所述判别模型进行优化;
S25循环步骤S22至S24,直至所述判别模型无法判别所述伪造图像和所述真实图像的真假,将所述伪造图像替换所述预处理数据集中分辨率低的图像替换,得到增强图像数据集。
其中,所述将所述增强图像数据集划分为训练集和测试集的具体方式为:
S31将所述增强图像数据集中的每张图像的格式进行调整,得到调整数据集;
S32将所述调整数据集划分为训练集和测试集。
其中,所述使用所述训练集和所述测试集对所述调整模型进行训练,得到识别分类最优模型的具体方式为:
S61分别使用所述训练集和所述测试集对所述调整模型进行训练,分别得到训练准确率和测试准确率;
S62基于所述训练准确率和所述测试准确率使用交叉熵值计算损失值;
S63循环步骤S61至S62直至所述损失值达到收敛,得到最优模型。
本发明的一种岩石标本图像智能识别方法,通过构建岩石标本数据集;构建生成对抗网络模型,将所述岩石标本数据集输入所述生成对抗网络模型进行训练,得到增强图像数据集;将所述增强图像数据集划分为训练集和测试集;获取模型参数;基于所述模型参数对识别分类模型的参数进行调整,得到调整模型;使用所述训练集和所述测试集对所述调整模型进行训练,得到识别分类最优模型;将待测岩石标本图像输入所述最优模型,得到识别结果,本发明通过构建所述最优模型对岩石进行自动识别,准确率较高,解决了人工对岩石识别的准确率较低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种岩石标本图像智能识别方法的流程图。
图2是本发明提供的一种岩石标本图像智能识别方法的技术路线图。
图3是岩石分类示意图。
图4是GAN网络训练流程图。
图5是MobileNetV3网络训练流程图。
图6是混淆矩阵图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
请参阅图1至图6,本发明提供一种岩石标本图像智能识别方法,包括以下步骤:
S1构建岩石标本数据集;
具体方式为:
S11收集岩石标本图片;
S12根据地质岩石标本划分方案对所述岩石标本图片进行分类鉴别,得到岩石类型;
具体的,鉴别标准包括岩石的晶体显现程度、是否具有层理及气孔、颜色深浅、硬度大小、光泽(金属光泽、玻璃光泽)、磁性、密度、光滑度等。
S13基于所述岩石类型构建岩石标本数据集。
S2构建生成对抗网络模型,将所述岩石标本数据集输入所述生成对抗网络模型进行训练,得到增强图像数据集;
所述生成对抗网络(GAN)模型包括生成模型G和判别模型D。
具体方式为:
S21对所述岩石标本数据集进行预处理,得到预处理数据集;
具体的,所述预处理如等比例缩小特征图的宽和高或是进行随机裁剪。
S22将所述预处理数据集输入到所述生成模型中,得到伪造图像;
S23所述伪造图像和所述预处理数据中与所述伪造数据对应的真实图像输入至所述判别模型中进行学习和判断,得到判断反馈;
S24基于所述判断反馈对所述生成模型和所述判别模型进行优化;
S25循环步骤S22至S24,直至所述判别模型无法判别所述伪造图像和所述真实图像的真假,将所述伪造图像替换所述预处理数据集中分辨率低的图像替换,得到增强图像数据集。
具体的,可将伪造的图像加入到图像数据集中,并且将生成的识别效果好的图像替代一些特征不明显,分辨率低的岩石标本图像,由此得到一个了识别效果更好的岩石标本图像数据集。
S3将所述增强图像数据集划分为训练集和测试集;
具体方式为:
S31将所述增强图像数据集中的每张图像的格式进行调整,得到调整数据集;
具体的,将所述增强图像数据集中的每张图像的格式调整为jpg格式,不要求图像大小。
S32将所述调整数据集划分为训练集和测试集。
具体的,所述调整数据集中的每一类岩石采用随机分配的方式分为训练集和测试集用于后续网络模型训练测试。将每一类岩石的80%的图像当作训练集,剩下的20%当作测试集。
S4获取模型参数;
具体的,使用GoogleNet网络模型对ImageNet数据集预训练,得到模型参数。
具体方式为:
S41构建与MobileNeV3网络模型具有相同结构的GoogleNet网络模型;
S42使用所述GoogleNet网络模型对ImageNet数据集进行模型训练,获取模型参数。
具体的,将GoogleNet网络训练ImageNet数据集得到的最优的所述模型参数保存为一个参数文件,作为后续MobileNetV3网络的一个预训练模型参数。
S5构建识别分类模型,基于所述模型参数对所述识别分类模型的参数进行调整,得到调整模型;
具体的,所述识别分类模型MobileNetV3模型。
S6使用所述训练集和所述测试集对所述调整模型进行训练,得到识别分类最优模型;
因为岩石受到环境和地质变化的长期作用,所以相同总类的岩石有可能会存在差别很大的情况,对图像识别的准确率造成了很大的影响,所以为了更好的去解决这个问题,就需要很多分辨率高且数量庞大的岩石标本图像,来减少这方面的影响。神经网络对此类庞大的数据集进行训练时就会存在训练难度大,耗时长的特点。
本发明引入MobileNetV3网络对岩石图像数据进行训练测试,具体方式为:
S61分别使用所述训练集和所述测试集对所述调整模型进行训练,分别得到训练准确率和测试准确率;
具体的,输入已经划分的训练集,利于transforms中的函数对图像数据进行预处理。
S62基于所述训练准确率和所述测试准确率使用交叉熵值计算损失值;
S63循环步骤S61至S62直至所述损失值达到收敛,得到最优模型。
具体的,通过模型训练,观察训练的准确率、测试准确率并使用交叉熵值计算损失值估计训练结果。在模型训练过程中,记录第一次迭代后的准确率,并且与后面每一次迭代都进行准确率的比较,取最高准确率,并将该次迭代中模型的参数录入最佳模型文件中,当损失值达到收敛后,停止训练,对比loss函数和准确度,最终得到岩石图像自动识别与分类的最优模型。
在所述最优模型使用前先进行验证,验证步骤如下:
随机选取训练集中各类岩石中的某5张岩石图片当作验证最优模型数据。岩石图像的预测结果以概率的形式进行表示,岩石图像的预测结果显示的最大概率所对应的岩石种类就是该岩石图像所属的种类;
将测试结果中,预测准确率的平均值小于设定的准确率的岩石类别进行记录,并且重新整理该类岩石图像,指导优化岩石标本图像数据集,并重新训练;
最终经过多次反馈训练,优化数据集,得到最佳模型。如图6为本发明选取岩石标本图像数据库中的某七类岩石通过处理训练最终得到的混淆矩阵,可以通过混淆矩阵计算出,岩石标本图像的识别准确率达到了92.2%。
S7将待测岩石标本图像输入所述最优模型,得到识别结果。
有益效果:
(1)采用窗口式、交互式数据库管理,分类批量管理海量岩石图像,增强了岩石图像数据可读性。
(2)采用生成对抗网络对岩石标本图像集数据增强。一定程度上解决了岩石标本图像数据不足的和某些图像不清晰的问题。
(3)采用成熟的GoogleNet模型结构训练ImageNet图像数据集,增强识别准确率和可靠性并获取预训练参数,借助迁移学习,大幅提升后续使用的网络模型的性能,极大地降低了训练难度。
(4)经过迁移学习后的轻量级MobileNetV3模型,提高了岩石图像识别效率和准确率,降低人工主观失误率和人机交互难度。
以上所揭露的仅为本发明一种岩石标本图像智能识别方法较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (6)

1.一种岩石标本图像智能识别方法,其特征在于,包括以下步骤:
S1构建岩石标本数据集;
S2构建生成对抗网络模型,将所述岩石标本数据集输入所述生成对抗网络模型进行训练,得到增强图像数据集;
S3将所述增强图像数据集划分为训练集和测试集;
S4获取模型参数;
S5构建识别分类模型,基于所述模型参数对所述识别分类模型的参数进行调整,得到调整模型;
S6使用所述训练集和所述测试集对所述调整模型进行训练,得到识别分类最优模型;
S7将待测岩石标本图像输入所述最优模型,得到识别结果。
2.如权利要求1所述的岩石标本图像智能识别方法,其特征在于,
所述构建岩石标本数据集的具体方式为:
S11收集岩石标本图片;
S12根据地质岩石标本划分方案对所述岩石标本图片进行分类鉴别,得到岩石类型;
S13基于所述岩石类型构建岩石标本数据集。
3.如权利要求1所述的岩石标本图像智能识别方法,其特征在于,
所述生成对抗网络模型包括生成模型和判别模型。
4.如权利要求3所述的岩石标本图像智能识别方法,其特征在于,
所述将所述岩石标本数据集输入所述生成对抗网络模型进行训练,得到增强图像数据集的具体方式为:
S21对所述岩石标本数据集进行预处理,得到预处理数据集;
S22将所述预处理数据集输入到所述生成模型中,得到伪造图像;
S23所述伪造图像和所述预处理数据中与所述伪造数据对应的真实图像输入至所述判别模型中进行学习和判断,得到判断反馈;
S24基于所述判断反馈对所述生成模型和所述判别模型进行优化;
S25循环步骤S22至S24,直至所述判别模型无法判别所述伪造图像和所述真实图像的真假,将所述伪造图像替换所述预处理数据集中分辨率低的图像替换,得到增强图像数据集。
5.如权利要求1所述的岩石标本图像智能识别方法,其特征在于,
所述将所述增强图像数据集划分为训练集和测试集的具体方式为:
S31将所述增强图像数据集中的每张图像的格式进行调整,得到调整数据集;
S32将所述调整数据集划分为训练集和测试集。
6.如权利要求1所述的岩石标本图像智能识别方法,其特征在于,
所述使用所述训练集和所述测试集对所述调整模型进行训练,得到识别分类最优模型的具体方式为:
S61分别使用所述训练集和所述测试集对所述调整模型进行训练,分别得到训练准确率和测试准确率;
S62基于所述训练准确率和所述测试准确率使用交叉熵值计算损失值;
S63循环步骤S61至S62直至所述损失值达到收敛,得到最优模型。
CN202210504978.6A 2022-05-10 2022-05-10 一种岩石标本图像智能识别方法 Pending CN114708463A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210504978.6A CN114708463A (zh) 2022-05-10 2022-05-10 一种岩石标本图像智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210504978.6A CN114708463A (zh) 2022-05-10 2022-05-10 一种岩石标本图像智能识别方法

Publications (1)

Publication Number Publication Date
CN114708463A true CN114708463A (zh) 2022-07-05

Family

ID=82176985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210504978.6A Pending CN114708463A (zh) 2022-05-10 2022-05-10 一种岩石标本图像智能识别方法

Country Status (1)

Country Link
CN (1) CN114708463A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423001A (zh) * 2023-12-18 2024-01-19 东北大学 基于改进ssd的岩石岩性识别方法与系统、存储介质和设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633255A (zh) * 2017-08-11 2018-01-26 天津大学 一种深度学习模式下的岩石岩性自动识别分类方法
CN110119753A (zh) * 2019-01-08 2019-08-13 长江岩土工程总公司(武汉) 一种重构纹理识别岩性的方法
CN111402266A (zh) * 2020-03-13 2020-07-10 中国石油大学(华东) 一种构建数字岩心的方法及系统
CN112381845A (zh) * 2020-12-02 2021-02-19 中国石油大学(华东) 岩心图像生成方法、模型训练方法及装置
CN112989708A (zh) * 2021-04-08 2021-06-18 重庆科技学院 一种基于lstm神经网络的测井岩性识别方法及系统
WO2021120372A1 (zh) * 2019-12-17 2021-06-24 山东大学 偏光显微镜下岩石图像智能识别系统及方法
CN113222071A (zh) * 2021-06-04 2021-08-06 嘉应学院 一种基于岩石薄片显微图像深度学习的岩石分类方法
US20210318465A1 (en) * 2020-04-13 2021-10-14 X Development Llc Subsurface lithological model with machine learning
CN114359617A (zh) * 2021-11-22 2022-04-15 北京林业大学 一种基于轻量级卷积神经网络识别岩石岩性的方法
CN114387485A (zh) * 2022-01-14 2022-04-22 哈尔滨工业大学 基于生成对抗网络的火星图像增广方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633255A (zh) * 2017-08-11 2018-01-26 天津大学 一种深度学习模式下的岩石岩性自动识别分类方法
CN110119753A (zh) * 2019-01-08 2019-08-13 长江岩土工程总公司(武汉) 一种重构纹理识别岩性的方法
WO2021120372A1 (zh) * 2019-12-17 2021-06-24 山东大学 偏光显微镜下岩石图像智能识别系统及方法
CN111402266A (zh) * 2020-03-13 2020-07-10 中国石油大学(华东) 一种构建数字岩心的方法及系统
US20210318465A1 (en) * 2020-04-13 2021-10-14 X Development Llc Subsurface lithological model with machine learning
CN112381845A (zh) * 2020-12-02 2021-02-19 中国石油大学(华东) 岩心图像生成方法、模型训练方法及装置
CN112989708A (zh) * 2021-04-08 2021-06-18 重庆科技学院 一种基于lstm神经网络的测井岩性识别方法及系统
CN113222071A (zh) * 2021-06-04 2021-08-06 嘉应学院 一种基于岩石薄片显微图像深度学习的岩石分类方法
CN114359617A (zh) * 2021-11-22 2022-04-15 北京林业大学 一种基于轻量级卷积神经网络识别岩石岩性的方法
CN114387485A (zh) * 2022-01-14 2022-04-22 哈尔滨工业大学 基于生成对抗网络的火星图像增广方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEXIS DAVID P. PASCUAL等: "Towards Natural Scene Rock Image Classification with Convolutional Neural Networks", 《2019 IEEE CANADIAN CONFERENCE OF ELECTRICAL AND COMPUTER ENGINEERING (CCECE)》, 11 October 2019 (2019-10-11), pages 1 - 4 *
周巧黎 等: "基于改进轻量级卷积神经网络MobileNetV3的番茄叶片病害识别", 《智慧农业(中英文)》, vol. 4, no. 2022, 12 April 2022 (2022-04-12), pages 47 - 56 *
赖富强 等: "基于小波高频属性的泥页岩裂缝测井识别方法研究", 《地球物理学进展》, vol. 35, no. 2020, 8 March 2019 (2019-03-08), pages 124 - 131 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423001A (zh) * 2023-12-18 2024-01-19 东北大学 基于改进ssd的岩石岩性识别方法与系统、存储介质和设备

Similar Documents

Publication Publication Date Title
CN109611087B (zh) 一种火山岩油藏储层参数智能预测方法及系统
CN110413924A (zh) 一种半监督多视图学习的网页分类方法
CN109800754A (zh) 一种基于卷积神经网络的古字体分类方法
CN107862275A (zh) 人体行为识别模型及其构建方法和人体行为识别方法
CN110991549A (zh) 一种针对图像数据的对抗样本生成方法及系统
CN110263835B (zh) 基于深度学习和贝叶斯网络的岩石类别自动识别方法
CN109581339B (zh) 一种基于头脑风暴自动调整自编码网络的声呐识别方法
CN110287777A (zh) 一种自然场景下的金丝猴躯体分割算法
CN112183643A (zh) 基于声发射的硬岩拉剪破裂识别方法及装置
CN112766334A (zh) 一种基于伪标签域适应的跨域图像分类方法
CN112200238B (zh) 基于声响特征的硬岩拉剪破裂识别方法与装置
CN109840561A (zh) 一种可用于垃圾分类的垃圾图像自动生成方法
CN114037001A (zh) 基于wgan-gp-c和度量学习的机械泵小样本故障诊断方法
CN114492521A (zh) 一种基于声振信号的随钻岩性智能识别方法与系统
CN114708463A (zh) 一种岩石标本图像智能识别方法
CN112183638B (zh) 基于声纹深度特征的硬岩拉剪破裂识别方法及装置
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN113177587B (zh) 基于主动学习和变分自编码器的广义零样本目标分类方法
CN108038467B (zh) 一种镜像图与粗细层次结合的稀疏人脸识别方法
CN116681556A (zh) 一种基于教育大数据的智慧远程教学云平台系统及方法
CN110554429A (zh) 一种基于变邻域滑动窗口机器学习的地震断层识别方法
CN113592341B (zh) 度量损失函数、扇区复杂度评估方法及系统
CN113835964A (zh) 基于小样本学习的云数据中心服务器能耗预测方法
CN112348922B (zh) 一种测井曲线自动绘制方法、系统、装置及存储介质
CN114154498B (zh) 一种基于科技大数据文本内容的创新性评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination