CN113689454A - 基于卷积神经网络的3d ct椎体分割算法 - Google Patents
基于卷积神经网络的3d ct椎体分割算法 Download PDFInfo
- Publication number
- CN113689454A CN113689454A CN202010421121.9A CN202010421121A CN113689454A CN 113689454 A CN113689454 A CN 113689454A CN 202010421121 A CN202010421121 A CN 202010421121A CN 113689454 A CN113689454 A CN 113689454A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- training
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 39
- 230000011218 segmentation Effects 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000012360 testing method Methods 0.000 claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 206010050296 Intervertebral disc protrusion Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 206010025005 lumbar spinal stenosis Diseases 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 206010039722 scoliosis Diseases 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 208000005198 spinal stenosis Diseases 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于卷积神经网络的3D CT椎体分割算法，包括以下步骤：S1、对原始的CT图像及其对应标注进行预处理，获得预处理之后的图像数据；S2、将预处理后的图像生成数据集，按照训练集和测试集3:1的比例划分；S3、将训练集图像及其标签用数据增强技术数据扩增，进行在线训练；S4、训练和测试：训练时，将训练集增强后的图像及其对应的标注输入设计好的卷积神经网络架构，测试时，输入测试集的图像数据，即可获得快速，准确的分割结果。本发明可以在3D CT图像中快速、准确的分割出每一节椎骨，将放射科的医生从重复标记椎体的工作中解放出来，提高了医生的工作效率。
Description
技术领域
本发明涉及医学图像处理方法，具体涉及基于卷积神经网络的3D CT椎体分割算法。
背景技术
CT(Computed Tomography)是检查腰椎疾病的主要医学成像方法之一，自动椎骨的检测和分割将在医学图像诊断、治疗计划中扮演重要的作用。
临床医生通常通过医学图像中的形态特征，如位移和形变来诊断腰椎间盘突出症。放射科医生需要为每个病人的每一个腰椎都做了的标记，以便进一步研究和诊断。自动椎体检测和分割可以帮助临床医生进行脊柱侧凸、腰椎骨狭窄和椎骨退化等病因诊断。这将帮助放射科医生识别每个腰椎并从重复的工作中解脱出来。
在传统的CT图像椎体分割算法中，主要分为自适应阈值处理，边界生长等无监督的方法；以及改进的水平集框架和分水岭算法用于脊柱的CT图像的分割。这些传统的分割算法要么精度低，可重复性低，效率低。
近几年基于深度学习的发展和硬件设备的进步，卷积神经网络在医学图像分割中扮演了重要的角色。从最初的2维的u-net到3维的v-net,卷积神经网络在脊柱分割中取得了显著的进步。当下基于深度学习的脊柱分割算法分为两步，一部分分为椎骨检测，即用一个卷积神经网络对椎骨进行粗分割，提取属于椎体部分的主体，然后对提取出来的椎体部分的主体用一个卷积神经网络进行细分割，得到更为精确的分割结果。
发明内容
针对上述存在的技术不足，本发明旨在开发一款端到端的3维CT椎体分割算法，提高椎体分割的效率。
为解决上述技术问题，本发明采用如下技术方案：
基于卷积神经网络的3D CT椎体分割算法，其特征在于，包括以下步骤：
S1、对原始的CT图像及其对应标注进行预处理；
S2、使用预处理的CT图像生成数据集，划分训练集：测试集＝3:1；
S3、将训练集及其对应的标注进行数据增强；
S4、训练和测试：训练时，将增强后的训练集进行在线训练，测试时，将测试集输入已经训练好的卷积神经网络，即可得到分割的结果。
进一步的，步骤S1包含的预处理流程为：使用重采样的方式统一CT图像的各性同向分辨率；对CT图像进行正则化；对CT图像进行中心值归零化。
进一步的，步骤S2包含的生成数据集的过程为：使用resize函数将每个CT图像及其标注的大小固定为128*128；沿切片方向进行堆叠，堆叠的维度即切片的总数目，记录为num；在[0,num-32]的范围内随机选择引脚idx，随机截取[idx，idx+32]的范围内的连续切片及其对应标注生成数据集。其中75％的数据用于生成训练集，剩余25％的数据用于生成测试集。本实验采用的是在线训练的方式，即边训练边生成数据集的模式。
进一步的，步骤S3包含的生成数据集增强过程为：行随机旋转，水平平移，垂直平移，水平反转，垂直反转；该步骤采用的是在线的方式：生成数据集-数据集增强-神经网络训练-内存空间释放，该训练使用的使keras应用框ImageDataGenerator模块。
进一步的，步骤S4包含的卷积神经网络主要包含两个部分，左边编码模块和右边解码模块，左边编码模块具体为：将输入128*128*32的体素块通过卷积核大小为3*3*3，卷积核个数为8的卷积层2次，再通过一个2*2*2的最大池化层，完成第一次卷积。同样的步骤重复两次，卷积核个数分别为16,32。卷积核个数为32的那一层卷积后不需要通过最大池化层。
步骤S4包含的卷积神经网络右边解码模块具体为：将编码模块输出的特征块经过反卷积层(积核大小为3*3*3，卷积核个数为16)，与同等深度的编码层模块做一个级联，再经过两个卷积核大小为3*3*3，卷积核个数为16的卷积层；重复这个步骤一次，第二次反卷积层的卷积核个数为8，与编码层级联后通过的卷积层的卷积核个数也为8。
步骤S4经过解码模块后的特征层经过卷积核大小为3*3*3，卷积核个数为1的卷积层，还原成128*128*32大小的输入尺寸。
步骤S4卷积神经网络输出的最后两层分别为Cropping3D层和ZeroPadding3D层，主要起到防止输出边沿出现尖峰的情况。
进一步的，步骤S4所示的卷积神经网络：原始训练集为{Xn,Yn},其中xn为3维的CT图像，其体素在-1000～2000不等，Yn为标注，采用二值标记法：取值为{0，24}，0表示xn对应的体素部分为背景，24表示xn对应的体素为椎骨。
进一步的，步骤S4所示的卷积神经网络其损失函数为：
进一步的，步骤S4所示的卷积神经网络，在测试阶段输入测试集3维图形的尺寸不一定需要与训练集的尺寸相同，该用于分割的卷积神经网络不包含全连接层，因此测试集尺寸不需要固定，在测试集尺寸和训练集尺寸差别不大的情况下，依然可以取得相当不错的结果。
本发明的有益效果在于：3D CT图像经过预处理后，通过训练好的卷积神经网络，即可输出分割结果，且对测试图像的尺寸没有严格的控制；能够将放射科医生从重复标记的工作中解放出来，提高了医生的工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于卷积神经网络3D CT椎体分割算法的示例性流程图；
图2为本发明基于卷积神经网络3D CT椎体分割算法的卷积神经网络结构图；
图3为是本发明基于卷积神经3D CT椎体分割算法的深度卷积网络分割结果三维可视化图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于卷积神经3D CT椎体分割算法分为以下4步：
S1、对原始的CT图像及其标注进行预处理；
S2、使用预处理的CT图像生成数据集，划分训练集：测试集＝3:1；
S3、将训练集及其对应的标注进行数据增强；
S4、神经网络的训练和测试。
S1所示的对原始的CT图像及其标注进行预处理，使用重采样方式对原始CT图片统一分辨率，该步骤使用了scipy包中的ndimage模块的插值函数，将所有CT图像统一成1mm*1mm*1mm的分辨率。
S1所示的对原始的CT图像及其标注进行正则化，其采用的公式为：
S1所示的对原始的CT图像及其标注进行中心化，将每个CT图像减去其均值，标签的正则化为每个体素除以24。
S2所示的使用预处理的CT图像生成数据集，划分训练集和测试集：使用resize函数将每个CT图像及其标注的大小固定为128*128；沿切片方向进行堆叠，堆叠的维度即切片的总数目，记录为num；在[0,num-32]的范围内随机选择引脚idx，随机截取[idx，idx+32]的范围内的连续切片及其对应标注生成数据集。其中75％的数据用于生成训练集，剩余25％的数据用于生成测试集。本实验采用的是在线训练的方式，即边训练边生成数据集的模式。
S2所示的使用预处理的CT图像生成数据集，划分训练集和测试集：所生成的训练集和测试集尺寸均为128*128*32，且训练集合测试集都是采用在线实时生成的方式。
S3将训练集及其对应的标注进行数据增强,仅仅针对于训练集，测试集不做增强处理。
S3将训练集及其对应的标注进行数据增强,做随机旋转，水平平移，垂直平移，水平反转，垂直反转；该步骤采用的是在线的方式：生成数据集—>数据集增强—>神经网络训练—>内存空间释放，该训练使用的使keras应用框ImageDataGenerator模块，具体参数设置为[15,0.15,0.5,0.1,0.25]
S4神经网络的训练和测试，具体的卷积神经网络结构如图2。
S4卷积神经网络其损失函数为：
S4神经网络的训练和测试,使用了keras架构的ModelCheckpoint，保留测试集表现结果最好的超参数模型。
S4神经网络的训练和测试,使用了keras架构的ReduceLROnPlateau，确保如果连续10次迭代后验证集损失函数没有下降，学习率会自动降低。
S4神经网络的训练和测试,使用了keras架构的EarlyStopping，确保如果连续20次迭代后验证集损失函数没有下降，会自动停止训练。
S4所示的卷积神经网络测试与训练，其训练总次数为100次，每次训练随机生成30个训练集经过数据增强后拟合卷积神经网络网络。
S4所示的卷积神经网络测试与训练，在测试阶段输入测试集3维图形的尺寸不一定需要与训练集的尺寸相同，该用于分割的卷积神经网络不包含全连接层，因此测试集尺寸不需要固定，在测试集尺寸和训练集尺寸差别不大的情况下，依然可以取得相当不错的结果,当测试集尺寸为128*128*192时，分割的结果如图3所示。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.基于卷积神经网络的3D CT椎体分割算法，其特征在于，包括以下步骤：
S1、对原始的CT图像及其对应标注进行预处理；
S2、使用预处理的CT图像生成数据集，划分训练集：测试集＝3:1；
S3、将训练集及其对应的标注进行数据增强；
S4、训练和测试：训练时，将增强后的训练集进行在线训练，测试时，将测试集输入已经训练好的卷积神经网络，即可得到分割的结果。
2.如权利要求1所述的基于卷积神经网络的3D CT椎体分割算法，其特征在于，步骤S1具体包括以下步骤：使用重采样的方式统一CT图像的各性同向分辨率；对CT图像进行正则化；对CT图像进行中心值归零化。
3.如权利要求1所述的基于卷积神经网络的3D CT椎体分割算法，其特征在于，步骤S2具体包括以下步骤：使用resize函数将每个CT图像及其标注的大小固定为128*128；沿切片方向进行堆叠，堆叠的维度即切片的总数目，记录为num；在[0，num-32]的范围内随机选择引脚idx，随机截取[idx，idx+32]的范围内的连续切片及其对应标注生成数据集，其中75％的数据用于生成训练集，剩余25％的数据用于生成测试集。
4.如权利要求1所述的基于卷积神经网络的3D CT椎体分割算法，其特征在于，步骤S3具体包括以下步骤：将训练集在线训练的数据进行数据增强，主要的数据增强方式包括：行随机旋转，水平平移，垂直平移，水平反转，垂直反转；该步骤采用的是在线的方式：生成数据集-数据集增强-神经网络训练-内存空间释放。
5.如权利要求1所述的基于卷积神经网络的3D CT椎体分割算法，其特征在于，步骤S4中使用的卷积神经网络结构以3Dunet架构为参考，呈现左右对称的形式，左边为编码层，右边为解码层，同时编码层和解码层之间对应的模块有级联，在卷积神经网络输出的最后两层分别为Cropping3D层和ZeroPadding3D层。
6.如权利要求5所述的基于卷积神经网络的3D CT椎体分割算法，其特征在于，原始训练集为{Xn,Yn},其中xn为3维的CT图像，其体素在-1000～2000不等，Yn为标注，采用二值标记法：取值为{0，24}，0表示xn对应的体素部分为背景，24表示xn对应的体素为椎骨。
7.如权利要求5或6任意一项所述的基于卷积神经网络的3D CT椎体分割算法，其特征在于，其损失函数为：
其中pi为为预测标签中的第i个体素，gi为实际标签中的第i个体素。
8.如权利要求1、5、6、7任意一项所述的基于卷积神经网络的3D CT椎体分割算法，其特征在于，编码部分卷积层全部采用3*3*3大小的卷积核，padding＝’same’，步长为1*1*1解码部分反卷积层采样3*3*3大小的卷积核，padding＝’same’，步长为2*2*2。
9.如权利要求1、5、6、7、8任意一项所述的基于卷积神经网络的3D CT椎体分割算法，其特征在于，在测试阶段输入测试集3维图形的尺寸不一定需要与训练集的尺寸相同，该用于分割的卷积神经网络不包含全连接层，因此测试集尺寸不需要固定，在测试集尺寸和训练集尺寸差别不大的情况下，依然可以取得相当不错的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010421121.9A CN113689454A (zh) | 2020-05-18 | 2020-05-18 | 基于卷积神经网络的3d ct椎体分割算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010421121.9A CN113689454A (zh) | 2020-05-18 | 2020-05-18 | 基于卷积神经网络的3d ct椎体分割算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113689454A true CN113689454A (zh) | 2021-11-23 |
Family
ID=78575615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010421121.9A Pending CN113689454A (zh) | 2020-05-18 | 2020-05-18 | 基于卷积神经网络的3d ct椎体分割算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689454A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998301A (zh) * | 2022-06-28 | 2022-09-02 | 北京大学第三医院（北京大学第三临床医学院） | 一种椎体亚区域分割方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038860A (zh) * | 2017-11-30 | 2018-05-15 | 杭州电子科技大学 | 基于3d全卷积神经网络的脊柱分割方法 |
| CN108629784A (zh) * | 2018-05-08 | 2018-10-09 | 上海嘉奥信息科技发展有限公司 | 一种基于深度学习的ct图像颅内血管分割方法及系统 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN109389584A (zh) * | 2018-09-17 | 2019-02-26 | 成都信息工程大学 | 基于cnn的多尺度鼻咽肿瘤分割方法 |
| CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
-
2020
- 2020-05-18 CN CN202010421121.9A patent/CN113689454A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038860A (zh) * | 2017-11-30 | 2018-05-15 | 杭州电子科技大学 | 基于3d全卷积神经网络的脊柱分割方法 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN108629784A (zh) * | 2018-05-08 | 2018-10-09 | 上海嘉奥信息科技发展有限公司 | 一种基于深度学习的ct图像颅内血管分割方法及系统 |
| CN109389584A (zh) * | 2018-09-17 | 2019-02-26 | 成都信息工程大学 | 基于cnn的多尺度鼻咽肿瘤分割方法 |
| CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998301A (zh) * | 2022-06-28 | 2022-09-02 | 北京大学第三医院（北京大学第三临床医学院） | 一种椎体亚区域分割方法、装置及存储介质 |
| CN114998301B (zh) * | 2022-06-28 | 2022-11-29 | 北京大学第三医院（北京大学第三临床医学院） | 一种椎体亚区域分割方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109493317B (zh) | 基于级联卷积神经网络的3d多椎骨分割方法 | |
| US9898825B2 (en) | Segmentation of magnetic resonance imaging data | |
| EP3480730A1 (en) | 3d anisotropic hybrid network: transferring convolutional features from 2d images to 3d anisotropic volumes | |
| US20200279411A1 (en) | Image Reconstruction Using Machine Learning Regularizers | |
| Kiraly et al. | Three-dimensional human airway segmentation methods for clinical virtual bronchoscopy | |
| Zukić et al. | Robust detection and segmentation for diagnosis of vertebral diseases using routine MR images | |
| CN113313234A (zh) | 用于图像分割的神经网络系统和方法 | |
| CN110544264A (zh) | 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法 | |
| CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
| CN106157249A (zh) | 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法 | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| CN111179366A (zh) | 基于解剖结构差异先验的低剂量图像重建方法和系统 | |
| WO2023202265A1 (zh) | 用于伪影去除的图像处理方法、装置、设备、产品和介质 | |
| Tobon-Gomez et al. | Automatic construction of 3D-ASM intensity models by simulating image acquisition: Application to myocardial gated SPECT studies | |
| CN116758087B (zh) | 一种腰椎ct骨窗侧隐窝间隙检测方法及装置 | |
| CN113689454A (zh) | 基于卷积神经网络的3d ct椎体分割算法 | |
| CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及系统 | |
| CN115147426B (zh) | 基于半监督学习的模型训练与图像分割方法和系统 | |
| Engelkes | Accuracy of bone segmentation and surface generation strategies analyzed by using synthetic CT volumes | |
| CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
| CN114331996A (zh) | 基于自编码解码器的医学影像分型方法及系统 | |
| CN113096117A (zh) | 异位骨化ct图像分割方法、三维重建方法、装置 | |
| Zhu et al. | CT metal artifact correction assisted by the deep learning-based metal segmentation on the projection domain | |
| CN112037299A (zh) | 一种影像重建的方法及装置、电子设备和存储介质 | |
| CN113487622B (zh) | 头颈部器官影像分割方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |