CN114119688A - 基于深度学习的冠状动脉造影前后单模医学图像配准方法 - Google Patents

基于深度学习的冠状动脉造影前后单模医学图像配准方法 Download PDF

Info

Publication number
CN114119688A
CN114119688A CN202111458315.7A CN202111458315A CN114119688A CN 114119688 A CN114119688 A CN 114119688A CN 202111458315 A CN202111458315 A CN 202111458315A CN 114119688 A CN114119688 A CN 114119688A
Authority
CN
China
Prior art keywords
image
neural network
network model
catheter
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111458315.7A
Other languages
English (en)
Inventor
王筱斐
张洪刚
王伟
陈东浩
吴芮葭
刘旭卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111458315.7A priority Critical patent/CN114119688A/zh
Publication of CN114119688A publication Critical patent/CN114119688A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

基于深度学习的冠状动脉造影前后单模医学图像配准方法，涉及医学图像配准技术领域，解决现有配准方法匹配位置难度较大，计算量大，速度缓慢等问题，本发明训练神经网络模型、数据读取和图像配准三个步骤将基于深度学习的图像分割技术应用到冠状动脉造影前后单模图像配准中。实现端到端的自动完成冠脉造影图像的单模配准任务。本发明首次将深度学习应用于冠脉造影领域的单模图像配准任务。利用血管区域的信息辅助网络更好地分割导管区域。本发明应用多种方法提高了待配准图像偏移量的准确性，提高了配准精度。

Description

基于深度学习的冠状动脉造影前后单模医学图像配准方法
技术领域
本发明涉及医学图像配准技术领域，具体涉及一种基于深度学习技术的冠状动脉造影前后单模医学图像配准的方法。
背景技术
医学图像配准是医学图像分析的基本课题，具有重要理论研究和临床应用价值。在做医学图像分析时，经常要将同一患者几幅图像放在一起分析，从而得到该患者的多方面的综合信息，提高医学诊断和治疗的水平。对几幅不同的图像作定量分析,首先要解决这几幅图像的严格对齐问题，这就是我们所说的图像的配准。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置。配准的结果应使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。
冠状动脉造影是诊断冠状动脉粥样硬化性心脏病(冠心病)的一种常用而且有效的方法，是一种较为安全可靠的有创诊断技术，现已广泛应用于临床，被认为是诊断冠心病的“金标准”。冠脉造影就是利用血管造影机，通过特制的介入导管注入造影剂使冠状动脉显影。有造影剂时，血管才能在X射线下显影成像，此时可以清楚的看到血管的位置和走向，从而帮助医生判断病变类型。但在进行相关心脏介入手术(如利用导丝将支架送入冠脉血管)时，不能打造影剂，此时无法知晓血管的位置和粗细。
最接近的实现方案是《一种基于深度学习的多模医学图像非刚性配准方法及系统》，申请号CN201810177419.2。此发明公开了一种基于深度学习的多模医学图像非刚性配准方法及系统，该配准方法包括：通过大量的医学数据，训练PCANet；将浮动图像和参考图像输入训练好的PCANet中，获得浮动图像和参考图像的结构表征图；最后根据所述参考图像以及浮动图像的结构表征图，获得配准图像。本发明利用PCANet深度学习网络，构建图像的结构表征图，将非刚性多模医学图像的配准问题转化为单模医学图像配准问题，大大提高了非刚性多模医学图像配准的精度与鲁棒性。该技术作为本申请最接近的现有技术，对直接处理类似冠状动脉造影前后有较大结构表征差距的单模医学图像配准问题时存在较大的局限性。
现有的技术分为基于特征的配准方法和基于灰度的配准方法。基于特征的配准方法根据图像主要特征来确定变换关系，对特征提取和特征匹配的错误较为敏感，多适用于具有明显特征的配准任务。基于图像灰度信息的配准方法通常情况下在待匹配图像中以模板位置为中心，相似性度量值会形成比较平缓的峰面，从而计算准确的匹配位置难度较大，计算量大，速度缓慢。
由于冠脉造影显影前后，造影图像的面积差异较大，图像灰度和血管特征均不明显，所以现有技术很难对其进行配准。
发明内容
本发明为解决现有配准方法匹配位置难度较大，计算量大，速度缓慢等问题，提供一种基于深度学习的冠状动脉造影前后单模医学图像配准方法。
基于深度学习的冠状动脉造影前后单模医学图像配准方法，该方法由以下步骤实现：
步骤一、训练神经网络模型；
步骤一一、神经网络进行初始化，建立多层神经网络结构，同时读取数字减影血管造影图像作为预训练神经网络模型参数；
步骤一二、所述预训练神经网络模型接收数字减影血管造影图像，通过深度学习的方法对输入图像进行介入导管的分割和检测；
步骤一三、比较最后输出的介入导管血管图像和医生精标注图像的不同获得损失值，然后通过梯度下降法对预训练神经网络模型各个层的参数进行更新；
步骤一四、迭代运行预训练神经网络模型，直到预训练神经网络模型分割和识别出的介入导管图像与医生精标注图像之间的损失值低于预设的阈值；
步骤一五、存储预训练之后的神经网络模型参数和神经网络模型结构，作为训练好的神经网络模型；
步骤二、数据读取；将读取的待匹配的两幅造影图像输入步骤一五训练好的神经网络模型中；
步骤三、图像配准；
步骤三一、所述训练好的神经网络模型接收步骤二的待匹配的两幅造影图像，使用PSPNet网络进行介入导管的分割，获得介入导管的二值分割图像；判断二值分割图像是否存在白色的介入导管区域，如果否，执行步骤三二；如果是，执行步骤三三；
步骤三二、将待匹配的两幅造影图像输入BASNet网络模型；执行步骤三三；
步骤三三、统计所述二值分割图像中的导管区域，根据导管区域的几何中心位置坐标，计算出两幅图像中导管几何中心位置的相对偏移量，并将所述相对偏移量作为初始偏移量；执行步骤三四；
步骤三四、固定无血管造影图的介入导管分割图像，根据步骤三三得到的初始偏移量对有血管造影图的介入导管分割图进行平移操作；
步骤三五、采用暴力搜索方式，获得二值分割图像的导管重合面积最大时的偏移坐标，并将其作为最后的偏移量；
步骤三六、对原始造影图执行偏移操作，获得最后需要的配准图像。
本发明的有益效果：本发明所述的方法将基于深度学习的图像分割技术应用到冠状动脉造影前后单模图像配准中。实现端到端的自动完成冠脉造影图像的单模配准任务。首次将深度学习应用于冠脉造影领域的单模图像配准任务。
具体优点如下：
本发明所述的方法以较高的准确率分割定位冠脉造影图像中的介入导管。
本发明所述的方法应用深度学习的方法，一方面消除了由于背景像素和介入导管像素比例差异较大而导致的类不均衡问题，另一方面也有效的避免了图像背景中类似血管状的纹理引入的干扰，提高了分割精确度。
本发明所述的方法采用多分类，利用血管区域的信息辅助网络更好地分割导管区域。
本发明所述的方法应用多种方法提高了待配准图像偏移量的准确性，提高了配准精度。
附图说明
图1为PSPNet网络结构示意图；
图2为BASNet网络结构示意图；
图3为配准图像原理图；
图4为本发明所述基于深度学习的冠状动脉造影前后单模医学图像配准方法的流程图。
具体实施方式
具体实施方式一、基于深度学习的冠状动脉造影(DSA)前后单模医学图像配准方法，使用这种方法可以以较高的准确率分割并识别冠状动脉造影图像中的介入导管，并以此为依据对造影前后的图像进行配准叠加，以便于医生分析病变和作为相关介入手术的参照。
一、训练网络对介入导管进行分割并检测，具体过程为：
步骤一一、神经网络进行初始化，建立多层神经网络结构，同时读取预训练模型参数。
步骤一二：神经网络接收数字减影血管造影图像，通过深度学习的方法对输入图片进行介入导管的分割和检测。
步骤一三：比较最后输出的介入导管血管图和医生精标注图片的不同得到损失值，之后通过梯度下降法对神经网络各个层的参数进行更新。
步骤一四：迭代运行，直到神经网络分割和识别出的介入导管图与医生精标注之间损失值低于预设的阈值。
步骤一五：存储训练之后的模型参数和神经网络模型结构，用于接下来的分割任务。
二、数据读取；
步骤二一：接收从医疗综合数据库中存储的与所述病变种类信息对应的整段心脏造影Dicom视频。
步骤二二：基于ECG信号和提取的R波，从整段冠脉造影Dicom视频中提取处在心动周期同一相位的只含导管和造影剂充盈血管的帧。
步骤二三：将待匹配的两幅造影图输入神经网络模块中。
三、图像配准；
步骤三一：采用训练好的神经网络模型接收步骤二的待匹配的两幅造影图像，神经网络接收成对的待配准造影图像，通过深度学习的方法对输入图片进行介入导管的分割，输出分割结果图。优先使用PSPNet网络进行介入导管的分割，对结果进行判别，如不理想则使用BASNet进行分割操作。
步骤三二：基于分割结果图，统计导管区域，并计算出两幅造影图导管区域的几何中心位置坐标，由此，可计算出两幅图中导管几何中心位置的相对偏移量作为初始偏移量。
步骤三三：固定无血管造影图(造影前)的介入导管分割图，根据步骤三得到的初始偏移量对有血管造影图(造影后)的介入导管分割图进行平移操作。
步骤三四：加入暴力搜索，在初始偏移量的基础上扩大偏移范围，分两个阶段用不同步长进行遍历，以得到二值图导管重合面积最大时的偏移坐标，作为最后的偏移量。
步骤三五：对原始造影图执行偏移操作，即可得到最后要的配准图像。
具体实施方式二、结合图1至图4说明本实施方式，本实施方式为具体实施方式一所述的基于深度学习的冠状动脉造影前后单模医学图像配准方法的实施例，可以实现端到端的训练，以一定的准确率在心脏冠状动脉造影图像上实现造影前后的图像匹配问题。具体步骤如下：
1.心脏冠状动脉造影图像数据集
本数据集是由约4000张精标注的冠状动脉数字减影血管造影(医学数字成像通讯)图像组成。每一张造影图像都有不同类型的血管，包括左主干、左回旋支、左前降支、侧支、左室间隔支、右冠脉等以及介入导管。需要准确分割并识别介入导管。使用这些这些数据来训练网络模型，之后使用训练出的模型进行介入导管的分割和识别。
2.结合图1说明本实施方式，图1为本实施方式中用于介入导管分割并识别的PSPNet神经网络结构，整个网络由基本的卷积神经网络模块和金字塔池化模块组成。将得到的冠脉造影图像处理为单通道的灰度图作为输入传递至神经网络，经过卷积和池化处理后可以得到最终的预测图。为提高介入导管分割识别的准确性和网络训练的效率，将与训练集精标注造影图中导管和相连接的血管节段进行了保留，其他节段进行了同色化处理。结果分析：PSPNet分割准确率较高，但有时会出现无法有效识别介入导管的情况。
3、结合图2说明本实施方式，图2为本实施方式中用于介入导管分割并识别的BASNet神经网络结构,显著性检测网络主要分为两个部分，一部分是Predict网络，可以得到粗显著区域，另一部分是之后的Residual Refinement网络，可以对前一部分的结果进行显著性细化。结果分析：BASNet普适性较高，但分割准确率略低于PSPNet。
4.配准过程：要对心脏冠状动脉造影显影前后的图像进行单模匹配，需要从同一段造影视频中抽取注入造影剂前和注入造影剂后血管充盈节段的图像进行对齐，由于心脏的跳动，对齐前我们需要保证待配准图像处于同一相位。在此我们可通过已有技术对心电信号(ECG)提取R波，得到我们要进行配准的图像，并对其进行处理后输入图像分割网络得到介入导管的二值分割图。
根据得到的二值分割图计算介入导管的平均位置信息，结合分割出的根节点和导管中心线信息，我们可以得到两张造影图像的偏移量作为初始偏移量。
Figure BDA0003388702830000061
其中，(x0,y0)表示偏移前坐标,(Δx,Δy)表示偏移量，(x,y)为偏移后坐标。
而后通过暴力搜索的方式，扩大偏移量范围，以得到二值图导管重合面积最大时的偏移坐标，并对原始造影图执行偏移操作，即可得到我们最后要的配准图像。
5.配准并检测具体流程：实验室硬件采用Intel Xeon CPU E5-2630 v4 CPU和NVIDIA GTX 1080 Ti GPU进行协同控制。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1.基于深度学习的冠状动脉造影前后单模医学图像配准方法，其特征是：该方法由以下步骤实现：
步骤一、训练神经网络模型；
步骤一一、神经网络进行初始化，建立多层神经网络结构，同时读取数字减影血管造影图像作为预训练神经网络模型参数；
步骤一二、所述预训练神经网络模型接收数字减影血管造影图像，通过深度学习的方法对输入图像进行介入导管的分割和检测；
步骤一三、比较最后输出的介入导管血管图像和医生精标注图像的不同获得损失值，然后通过梯度下降法对预训练神经网络模型各个层的参数进行更新；
步骤一四、迭代运行预训练神经网络模型，直到预训练神经网络模型分割和识别出的介入导管图像与医生精标注图像之间的损失值低于预设的阈值；
步骤一五、存储预训练之后的神经网络模型参数和神经网络模型结构，作为训练好的神经网络模型；
步骤二、数据读取；将读取的待匹配的两幅造影图像输入步骤一五训练好的神经网络模型中；
步骤三、图像配准；
步骤三一、所述训练好的神经网络模型接收步骤二的待匹配的两幅造影图像，使用PSPNet网络进行介入导管的分割，获得介入导管的二值分割图像；判断二值分割图像是否存在白色的介入导管区域，如果否，执行步骤三二；如果是，执行步骤三三；
步骤三二、将待匹配的两幅造影图像输入BASNet网络模型；执行步骤三三；
步骤三三、统计所述二值分割图像中的导管区域，根据导管区域的几何中心位置坐标，计算出两幅图像中导管几何中心位置的相对偏移量，并将所述相对偏移量作为初始偏移量；执行步骤三四；
步骤三四、固定无血管造影图的介入导管分割图像，根据步骤三三得到的初始偏移量对有血管造影图的介入导管分割图进行平移操作；
步骤三五、采用暴力搜索方式，获得二值分割图像的导管重合面积最大时的偏移坐标，并将其作为最后的偏移量；
步骤三六、对原始造影图执行偏移操作，获得最后需要的配准图像。
2.根据权利要求1所述的基于深度学习的冠状动脉造影前后单模医学图像配准方法，其特征在于：数据读取的具体步骤为：
步骤二一、接受从医疗综合数据库中存储的与所述病变种类信息对应的整段心脏造影视频；
步骤二二、基于ECG信号和提取的R波，从整段冠脉造影视频中提取处在心动周期同一相位的只含导管和造影剂充盈血管的帧；
步骤二三、将待匹配的两幅造影图输入训练好的神经网络模型中。
3.根据权利要求1所述的基于深度学习的冠状动脉造影前后单模医学图像配准方法，其特征在于：步骤三三中，根据获得的二值分割图计算介入导管的平均位置信息，结合分割出的根节点和导管中心线信息，获得两张造影图像的偏移量作为初始偏移量；采用下式表示为：
Figure FDA0003388702820000021
式中，(x0,y0)表示偏移前坐标,(Δx,Δy)表示偏移量，(x,y)为偏移后坐标。
CN202111458315.7A 2021-12-02 2021-12-02 基于深度学习的冠状动脉造影前后单模医学图像配准方法 Pending CN114119688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111458315.7A CN114119688A (zh) 2021-12-02 2021-12-02 基于深度学习的冠状动脉造影前后单模医学图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111458315.7A CN114119688A (zh) 2021-12-02 2021-12-02 基于深度学习的冠状动脉造影前后单模医学图像配准方法

Publications (1)

Publication Number Publication Date
CN114119688A true CN114119688A (zh) 2022-03-01

Family

ID=80365267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111458315.7A Pending CN114119688A (zh) 2021-12-02 2021-12-02 基于深度学习的冠状动脉造影前后单模医学图像配准方法

Country Status (1)

Country Link
CN (1) CN114119688A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342603A (zh) * 2023-05-30 2023-06-27 杭州脉流科技有限公司 获得动脉输入函数的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342603A (zh) * 2023-05-30 2023-06-27 杭州脉流科技有限公司 获得动脉输入函数的方法
CN116342603B (zh) * 2023-05-30 2023-08-29 杭州脉流科技有限公司 获得动脉输入函数的方法

Similar Documents

Publication Publication Date Title
Li et al. Automatic detection of atherosclerotic plaque and calcification from intravascular ultrasound images by using deep convolutional neural networks
CN112652052B (zh) 一种基于血管分支配准的冠状动脉三维重建方法及系统
CN110448319B (zh) 基于造影影像及冠状动脉的血流速度计算方法
CN111932554B (zh) 一种肺部血管分割方法、设备及存储介质
US20220207742A1 (en) Image segmentation method, device, equipment and storage medium
CN110910370B (zh) 一种cta图像冠脉狭窄检测的方法及装置
EP1542589B1 (en) Display of image data information
Deshpande et al. Automatic segmentation, feature extraction and comparison of healthy and stroke cerebral vasculature
KR20190084380A (ko) 2차원 x-선 조영영상의 혈관 구조 추출 방법, 이를 수행하기 위한 기록매체 및 장치
CN111476791B (zh) 图像处理方法、图像处理装置和非暂时性计算机可读介质
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
Li et al. Fully convolutional networks for ultrasound image segmentation of thyroid nodules
CN113706559A (zh) 基于医学图像的血管分段提取方法和装置
CN106548491A (zh) 一种图像配准方法、其图像融合方法及其装置
CN114119688A (zh) 基于深度学习的冠状动脉造影前后单模医学图像配准方法
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN116664592A (zh) 基于图像的动静脉血管分离方法、装置、电子设备及介质
CN115937196A (zh) 一种医学图像分析系统、分析方法和计算机可读存储介质
TWI490790B (zh) Dynamic cardiac imaging analysis and cardiac function assessment system
CN114998582A (zh) 一种冠脉血管的分割方法、装置及存储介质
CN113177953B (zh) 肝脏区域分割方法、装置、电子设备及存储介质
Abdelrauof et al. Light-weight localization and scale-independent multi-gate UNET segmentation of left and right ventricles in MRI images
Zheng et al. Model-driven centerline extraction for severely occluded major coronary arteries
CN112102352A (zh) 一种dsa图像序列的冠脉运动跟踪方法及装置
Bernard et al. Measurement and quantification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination