CN113887524A - 基于语义分割的磁铁矿显微图像分割方法 - Google Patents

基于语义分割的磁铁矿显微图像分割方法 Download PDF

Info

Publication number
CN113887524A
CN113887524A CN202111298606.4A CN202111298606A CN113887524A CN 113887524 A CN113887524 A CN 113887524A CN 202111298606 A CN202111298606 A CN 202111298606A CN 113887524 A CN113887524 A CN 113887524A
Authority
CN
China
Prior art keywords
image
segmentation
magnetite
mineral
microscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111298606.4A
Other languages
English (en)
Inventor
牛福生
张红梅
薛文强
张晋霞
武佳慧
姚姗姗
梁秀满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Science and Technology
Original Assignee
North China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Science and Technology filed Critical North China University of Science and Technology
Priority to CN202111298606.4A priority Critical patent/CN113887524A/zh
Publication of CN113887524A publication Critical patent/CN113887524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于矿业工程技术领域,具体来说涉及一种基于语义分割的磁铁矿显微图像分割方法;该方法包括:获取多张交代残余结构的磁铁矿显微图像;采用语义分割网络将磁铁矿显微图像分割成深色区域和浅色区域;对分割的显微图像进行图像增强,获得目标矿物显微图像;将所述目标矿物显微图像输入至预设矿物分类网络模型中,以获得所述图像分割后得到的脉石和矿物颗粒图像;相比于其余U型网络,本发明采用的基于特征复用结构和编码解码结构的一种聚合多个阶段特征的U型网络,在训练好的预设矿物显微图像分割模型中,具有较低的计算量和较高的分割精度。

Description

基于语义分割的磁铁矿显微图像分割方法
技术领域
本发明属于矿业工程技术领域,具体来说涉及一种基于语义分割的磁铁矿显微图像分割方法。
背景技术
当前国内外矿物学工作人员普遍通过操作显微镜对矿物的矿石进行分类和鉴别,这种方法原始且工作耗时长,易受到主观因素的干扰。
矿物分割是矿石鉴定的基础,因此高精度、低运算量的矿物显微图像分割方法在矿石鉴定中具有重要的意义。
发明内容
针对现有矿物显微图像分割方法的不足之处,本发明的目的在于提供一种基于语义分割的磁铁矿显微图像分割方法。
本发明是通过以下具体方案来实施的。
一种基于语义分割的磁铁矿显微图像分割方法,包括下述实施步骤:
获取多张交代残余结构的磁铁矿显微图像;
采用语义分割网络将磁铁矿显微图像依据脉石颜色分割成深色区域和浅色区域,传统图像分割方法对矿物颗粒和背景进行分割;
在所述的语义分割网络模型中,包括以下实施步骤:
网络的整体结构为编码解码结构,该网络结构是根据特征复用结构和编码解码结构提出的一种聚合多个阶段特征的U型网络;
策略编码器部分采用了特征复用结构,并加入残差多内核池化以使得不同大小特征图之间也有信息交流,解码器部分采用U型结构逐渐上采样的方法,所述方法具体实施过程包括:
将第一个卷积层通道设置为16;
设置编码器参数和输出通道数;
将第一个卷积核输出通道数缩减为输入的1/4,并将此作为第二个卷积层的输入,由此形成解码器结构;
将残差多内核池化引入进网络,具体包括以下步骤:
将第一个池化内核设置为2x2结构大小,第二个池化内核设置为3x3结构大小,第三个池化内核设置为5x5结构大小,第四个池化内核设置为6x6结构大小;
使用上述四个不同大小的池化内核收集上下文信息以丰富高级语义信息;
通过双线性插值获得与原始特征图相同大小的特征并通过1x1卷积将维度缩减为1;
将原始特征与上采样的特征图合并通道。
通过所述的网络模型,获取磁铁矿显微图像数据集和深色脉石区域数据集;
分割脉石区域,将分割出的脉石建立脉石数据集。
在所述的分割脉石区域的方法之前,还需对磁铁矿显微图像数据集和深色脉石区域数据集图像进行预处理,具体包括以下步骤:
对图像采用采用随机垂直翻转、水平翻转、随机旋转n个90度、在水平方向和垂直方向随机平移,色彩扰动等方法对图像进行增强;
将上述处理后的图片分割成16块,每次随机从一张图片中选择4个块替换掉另一张图片的位置,通过图像混合数据实现图像增强。
对矿物颗粒进行分割,具体包括以下步骤:
采用固定阈值方法可将浅色脉石区域图像中矿物颗粒和脉石矿物分割开来;
对深色区域磁铁矿颗粒和脉石采用Canny算法对图像进行边缘检测,边缘检测后矿物颗粒区域线条密集,之后采用闭运算联通密集区域,最后分析存在的孔洞大小,将细小的孔洞填充,并进行矿物颗粒分割。
将分割图像融合得到最终的分割图;
将所有图像数据按比例依次分为训练集和测试集。
对实验结果采用Dice系数作为评估指标。
实验采用pytorch深度学习框架,批处理为8,Adam优化器,Dice系数作为损失函数。
与现有技术比较,本发明具有的有益效果如下:
本发明通过采用结合语义分割和传统图像处理的矿相分割方法对交代残余结构的磁铁矿显微图像进行分割,首先网络依据背景颜色分割区域,再采用传统图像处理方法分别针对深色区域和浅色区域的图像特征分割矿物颗粒,用以实现对磁铁矿显微图像分割,可以快速准确地实现对其余种类的矿物显微图像分割,既节省了工作人员对矿物图像标注的时间,提高了工作效率,又提高了矿物显微图像分割的精确度。
附图说明
图1为本发明的基于语义分割的磁铁矿显微图像分割方法的流程示意图;
图2为本发明实施例中语义分割网络模型示意图;
图3为本发明实施例中残差多内核池化模块示意图;
图4为本发明实施例中图像混合数据增强方法示意图。
具体实施方式
本发明的基于语义分割的磁铁矿显微图像分割方法可有效对磁铁矿显微图像进行分割,也可快速准确地对其余种类的矿物显微图像进行分割。下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。
如图1所示,基于语义分割的磁铁矿显微图像分割方法,包括以下步骤:
为了实现对磁铁矿显微图像的分割,需要获取所述待分割的交代残余结构磁铁矿显微图像,所述矿物显微图像为在显微镜下对所述磁铁矿进行成像所获得的图像。在具体实现中,采集适量所述磁铁矿矿样压片制作成标本,将该标本置于显微镜下观察,通过调节放大倍数使样本便于观察,调节光照度来设置适量的光线以均匀照亮该标本,当观察到清晰的图像时,使用摄像设备拍摄图像,获得清晰的磁铁矿显微图像。
采用语义分割网络将磁铁矿显微图像分割成深色区域和浅色区域,传统图像分割方法对矿物颗粒和背景进行分割,该网络模型如图2所示,网络模型的设置包括以下步骤:
网络的整体结构为编码解码结构,该网络结构是根据特征复用结构和编码解码结构提出的一种聚合多个阶段特征的U型网络,并加入了残差多内核池化以使得不同大小特征图之间也有信息交流;
在深度卷积神经网络中,往往浅层的特征图尺寸较大,计算量受通道数影响也更加的敏感,因此我们第一个卷积层采用了16通道;
编码器参数和输出通道数如表1所示:
Figure BDA0003337361310000021
Figure BDA0003337361310000031
其中,(N1,N2)分别表示输入通道数和输出通道数,×N表示模块数量,/2表示2倍下采样。
将第一个卷积核输出通道数缩减为输入的1/4,并将此作为第二个卷积层的输入,这样每个解码器块的输入和输出通道不变的情况下参数量极大的减少;
解码器参数和输出通道数如表2所示:
Figure BDA0003337361310000032
其中,*2表示2倍上采样。
在网络的末尾引入了残差多内核池化,该模块如图3所示。它主要依靠多个有效的视野来检测不同大小的对象,残差多内核池化具体包括以下步骤:
将第一个池化内核设置为2x2结构大小,第二个池化内核设置为3x3结构大小,第三个池化内核设置为5x5结构大小,第四个池化内核设置为6x6结构大小;
使用上述四个不同大小的池化内核收集上下文信息以丰富高级语义信息;
通过双线性插值获得与原始特征图相同大小的特征并通过1x1卷积将维度缩减为1;
将原始特征与上采样的特征图合并通道;
该模块引入的参数较少,仅为388个参数,但可以应对图像中对象尺寸的巨大变化,获得的图像数据准确率提升明显。
通过所述的网络模型,获取磁铁矿显微图像数据集和深色脉石区域数据集;
分割脉石区域,将分割出的脉石建立脉石数据集。
在所述的分割脉石区域的方法之前,还需对磁铁矿显微图像数据集和深色脉石区域数据集图像进行图像增强,具体包括以下步骤:
对图像采用随机垂直翻转、水平翻转、随机旋转n个90度等方法改变图像中矿石的位置;
对图像进行水平方向和垂直方向的随机平移;
对图像进行色彩扰动等方法从而实现图像增强;
考虑到每一块光薄片中目标矿物往往具有非常接近的纹理和颜色,与自然图像分割中的数据集不同的是,矿相图片中的目标矿物不具有固定的形态,主要是靠颜色进行区分,且与周围的图像信息关联不大,随意裁剪和拼接对图像的语义信息破坏较小,本实施例中将对图像进行裁剪和拼接。
首先为了尽可能的组合出大量的数据,将图片平均分割成16块。
每次随机从一张图片中选择4个块替换掉另一张图片的位置,拼接得到的图像则为图像混合数据增强图像。
对图像中矿物颗粒和脉石矿物分割,具体包括以下步骤:
在浅色脉石区域中磁铁矿颗粒和背景比较分明,采用固定阈值方法即可将矿物颗粒和脉石矿物分割开来;
深色区域磁铁矿颗粒和脉石颜色区别微小,但是磁铁矿颗粒具有明显的纹理特征,脉石区域纹理比较光滑,采用Canny进行边缘检测,边缘检测后矿物颗粒区域线条密集,之后采用闭运算联通密集区域,最后分析存在的孔洞大小,将细小的孔洞填充,并进行矿物颗粒分割。
将分割图像融合得到最终的分割图。
将所有图像数据按比例依次分为训练集和测试集。
将训练集中的所有图像数据输入至预设矿物显微分割模型中,对图像进行训练,并对图像数据进行标注。
对实验结果采用Dice系数作为评估指标。
实验采用pytorch深度学习框架,批处理为8,Adam优化器,Dice系数作为损失函数,所述损失函数公式一为:
Dice=2TP/(FP+2TP+FN)
其中,TP、FP和FN分别代表真阳性、假阳性和假阴性的数量。
将测试集中的所有图像数据输入至预设语义分割网络模型中,以获得所述预设矿物显微分割结果。
获取到高质量的目标矿物显微图像后,将所述目标矿相显微图像输入至预设语义分割网络模型中,所述预设语义分割网络模型为训练好的网络模型,具有较高的准确性,用于根据矿物显微图像识别对应的矿相类别。
将所述目标矿物显微图像输入至该矿物显微分割模型中,以获得所述预设矿物显微分割结果。
为了研究训练集中图片数量对分割效果的影响,分别使用4、16、80张带标签的图片进行训练,可以知道虽然只采用4张带标签图片,依然可以分割出整体轮廓。
将4张带标签图片进行数据增强后进行训练即可让该网络完整的分割出目标矿物轮廓。
对分割后的深色脉石区域采用Canny算子计算纹理进行矿物颗粒分割。
对图像的浅色区域直接采用固定阈值分割方法分割,阈值设置为180。
将分割后的浅色区域矿物颗粒和深色区域的矿物颗粒组合成完整的分割图,就可以得到矿物显微分割图像。
通过分析可以得出:采用少量的标注数据训练出分割精度高的模型对语义分割在矿物显微图像的分割有着重要意义,采用改进的阶段性特征复用结构搭建编码器,采用轻量化的Resnet18作为主干,并在编码器末尾添加残差多内核池化结构增强对多种尺寸目标的分割效果,其参数量极大的减少,并且只采用4张图片进行训练即可以分割出完整轮廓。使用该模型可在短时间内完成矿物图像分割,分割精度较高。该方法与传统的矿物分割方法相比,节省了大量工作时间,减少了人为误差,提高了分割结果的准确率,为矿物鉴定提供了重要依据。
以上对本发明做了示例性的描述,应该说明的是,在不脱离本发明的核心的情况下,任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (6)

1.一种基于语义分割的磁铁矿显微图像分割方法,其特征在于,包括以下步骤:
获取多张待分割的交代残余结构的磁铁矿显微图像;
采用语义分割网络将磁铁矿显微图像分割成深色区域和浅色区域;
对分割后的显微图像进行图像增强,获得目标矿物显微图像;
将所述目标矿物显微图像输入至预设矿物分类网络模型中,以获得所述图像分割后得到的脉石矿物和矿物颗粒图像。
2.根据权利要求1所述的一种基于语义分割的磁铁矿显微图像分割方法,其特征在于,在获取待分割的交代残余结构的磁铁矿显微图像之前,所述方法还包括:
将待处理显微图像的放大倍数和光照度调整至最佳;
采集属于样本的交代残余结构的待处理磁铁矿显微图像。
3.根据权利要求1所述的一种基于语义分割的磁铁矿显微图像分割方法,其特征在于,采用语义分割网络将磁铁矿显微图像进行分割,具体包括:
预设语义分割网络模型为:网络的整体结构为编码解码结构,该网络结构是根据特征复用结构和编码解码结构提出的一种聚合多个阶段特征的U型网络,并加入残差多内核池化以使得不同大小特征图之间也有信息交流;
将所述交代残余结构的待处理磁铁矿显微图像输入至预设语义分割网络模型中,以获得所述预设语义分割网络模型输出的分割结果,包括:
将所述磁铁矿显微图像输入至模型;
通过所述的多阶段特征复用结构,将编码器部分拆分成多个阶段;
通过所述的解码器,采用U型结构逐渐上采样的方法进行特征图融合,从而实现图像分割;
通过所述的残差多内核池化,检测不同大小的图像,使得不同大小特征图之间也有信息交流。
4.根据权利要求3所述的一种基于语义分割的磁铁矿显微图像分割方法,其特征在于,所述预设语义分割网络模型还包括:
所述的编码器在给定输入图像后,通过网络学习得到输入图像的特征图谱,前一阶段的最终输出特征图放大后作为下一阶段的输入,每个阶段特征提取的过程中融合前一阶段的特征图;
所述解码器在编码器提供特征图后,融合多个特征图,逐步实现每个像素的类别标注;
所述的残差多内核池化,依靠多个有效的视野来检测不同大小的对象,使用四个不同大小的池化内核收集上下文信息以丰富高级语义信息,然后通过双线性插值获得与原始特征图相同大小的特征并通过1x1卷积将维度缩减为1,最后,将原始特征与上采样的特征图合并通道。
5.根据权利要求1所述的一种基于语义分割的磁铁矿显微图像分割方法,其特征在于,对分割后的显微图像进行图像增强,具体包括:
通过对图像采用随机垂直翻转、水平翻转、随机旋转n个90度、水平方向和垂直方向的随机平移改变图像中矿石的位置;
通过对图像进行色彩扰动从而实现图像增强;
通过对图像进行随意裁剪和拼接实现混合数据增强图像;
相应的,在所述的混合数据增强图像中,将图片平均分割成16块,每次随机从一张图片中选择4个块替换掉另一张图片的位置,拼接得到最终图像。
6.根据权利要求1所述的一种基于语义分割的磁铁矿显微图像分割方法,其特征在于,将所述目标矿物显微图像输入至预设矿物分类网络模型中,以获得所述图像分割后得到的脉石和矿物颗粒图像,具体包括:
对所述目标矿物显微图像采用固定阈值方法可将浅色脉石区域图像中矿物颗粒和脉石矿物分割开来;
对所述深色区域磁铁矿颗粒和脉石矿物采用Canny算法对图像进行边缘检测,边缘检测后矿物颗粒区域线条密集,之后采用闭运算联通密集区域,最后分析存在的孔洞大小,将细小的孔洞填充,并进行矿物颗粒分割;
将所述分割图像融合得到最终的矿物显微分割图。
CN202111298606.4A 2021-11-04 2021-11-04 基于语义分割的磁铁矿显微图像分割方法 Pending CN113887524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111298606.4A CN113887524A (zh) 2021-11-04 2021-11-04 基于语义分割的磁铁矿显微图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111298606.4A CN113887524A (zh) 2021-11-04 2021-11-04 基于语义分割的磁铁矿显微图像分割方法

Publications (1)

Publication Number Publication Date
CN113887524A true CN113887524A (zh) 2022-01-04

Family

ID=79016751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111298606.4A Pending CN113887524A (zh) 2021-11-04 2021-11-04 基于语义分割的磁铁矿显微图像分割方法

Country Status (1)

Country Link
CN (1) CN113887524A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648814A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 人脸活体检测方法及模型的训练方法、装置、设备及介质
CN115482409A (zh) * 2022-08-15 2022-12-16 北京数美时代科技有限公司 一种图像识别模型训练方法、系统、存储介质和电子设备
CN116453104A (zh) * 2023-06-15 2023-07-18 安徽容知日新科技股份有限公司 液位识别方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685067A (zh) * 2018-12-26 2019-04-26 江西理工大学 一种基于区域和深度残差网络的图像语义分割方法
CN111292330A (zh) * 2020-02-07 2020-06-16 北京工业大学 基于编解码器的图像语义分割方法及装置
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113570611A (zh) * 2021-07-27 2021-10-29 华北理工大学 基于多特征融合解码器的矿物实时分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685067A (zh) * 2018-12-26 2019-04-26 江西理工大学 一种基于区域和深度残差网络的图像语义分割方法
CN111292330A (zh) * 2020-02-07 2020-06-16 北京工业大学 基于编解码器的图像语义分割方法及装置
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113570611A (zh) * 2021-07-27 2021-10-29 华北理工大学 基于多特征融合解码器的矿物实时分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
青晨;禹晶;肖创柏;段娟;: "深度卷积神经网络图像语义分割研究进展", 中国图象图形学报, no. 06, 16 June 2020 (2020-06-16) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648814A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 人脸活体检测方法及模型的训练方法、装置、设备及介质
CN115482409A (zh) * 2022-08-15 2022-12-16 北京数美时代科技有限公司 一种图像识别模型训练方法、系统、存储介质和电子设备
CN116453104A (zh) * 2023-06-15 2023-07-18 安徽容知日新科技股份有限公司 液位识别方法、装置、电子设备及计算机可读存储介质
CN116453104B (zh) * 2023-06-15 2023-09-08 安徽容知日新科技股份有限公司 液位识别方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN113887524A (zh) 基于语义分割的磁铁矿显微图像分割方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及系统
CN111415329A (zh) 一种基于深度学习的工件表面缺陷检测方法
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN111738994B (zh) 一种轻量级的pcb缺陷检测方法
Dan et al. Application of deep learning-based image recognition technology to asphalt–aggregate mixtures: Methodology
CN110288613B (zh) 一种超高像素的组织病理图像分割方法
CN109182081A (zh) 一种基于图像处理模型的单细胞分选系统
CN107330365A (zh) 基于最大稳定极值区域和svm的交通标志识别方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN112614105B (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN111222393A (zh) 一种基于自学习神经网络的病理切片中印戒细胞检测方法
CN114332086B (zh) 基于风格迁移和人工智能的纺织品缺陷检测方法及系统
CN114037693A (zh) 一种基于深度学习的岩石孔-裂隙及杂质特征评价方法
CN115731400A (zh) 基于自监督学习的x光图像异物检测方法
CN111161213B (zh) 一种基于知识图谱的工业产品缺陷图像分类方法
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
Ke et al. Detection of wood surface defects based on particle swarm-genetic hybrid algorithm
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN114663382A (zh) 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法
CN112200766A (zh) 基于区域关联神经网络的工业产品表面缺陷检测方法
CN113705531B (zh) 一种基于显微成像的合金粉末夹杂物的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination