CN113052932A - 基于空间及时间信息的w型网络结构的dce-mri图像生成方法 - Google Patents

基于空间及时间信息的w型网络结构的dce-mri图像生成方法 Download PDF

Info

Publication number
CN113052932A
CN113052932A CN202110274871.2A CN202110274871A CN113052932A CN 113052932 A CN113052932 A CN 113052932A CN 202110274871 A CN202110274871 A CN 202110274871A CN 113052932 A CN113052932 A CN 113052932A
Authority
CN
China
Prior art keywords
mri
network structure
dimensional
dce
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110274871.2A
Other languages
English (en)
Inventor
郭薇
张国栋
宫照煊
周翰逊
刘智
何聪
柳昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Aerospace University
Original Assignee
Shenyang Aerospace University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Aerospace University filed Critical Shenyang Aerospace University
Priority to CN202110274871.2A priority Critical patent/CN113052932A/zh
Publication of CN113052932A publication Critical patent/CN113052932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • G06T2207/10096Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了基于空间及时间信息的W型网络结构的DCE‑MRI图像生成方法,包括以下步骤:获取训练数据集;根据所述训练数据集训练W型神经网络结构模型,及采集造影剂注射前T0时相的三维MRI图像数据I0,将图像数据I0输入至训练好的所述基于空间及时间信息的W型神经网络结构模型,生成造影剂注射后Ti与Ti+1时四维DCE‑MRI时间‑空间序列图像Ii与Ii+1。该方法针对相邻时相DCE‑MRI图像间的相互关系,提出基于空间及时间信息的W型图像生成网络,该网络同时提取相邻时相图像的低维与高维特征,并利用这些特征及其相关信息生成四维DCE‑MRI时间‑空间序列图像。

Description

基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法
技术领域
本发明公开涉及医学图像处理技术领域,尤其涉及基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法。
背景技术
影像学检查不仅能通过图像发现病灶的存在,定位病灶的位置,还能观察病灶的大小、形态及密度等物理特征。其中,平扫核磁共振(MRI)可以根据病变位置、形态及与周围组织的关系来检测肿瘤及其对周围组织的侵及情况。但由于肿瘤组织内部的代谢变化可能远远早于其形态变化,所以平扫MRI对肿瘤的诊断可能与实际情况存在差异。而注射造影剂后的动态对比度增强磁共振(Dynamic contrast-enhanced magnetic resonanceimaging,DCE-MRI)通过连续快速地序列成像,获得注入造影剂前、中、后各时期组织的连续动态增强图像,从而反映病灶组织的生理代谢变化。
注射造影剂被认为是一种常规及安全的检查方法,但对造影剂(如碘)过敏或者心肝肺肾功能差的患者不能做DCE-MRI检查。如果能够根据平扫MRI图像,利用计算机后处理技术代替注射造影剂后的多次MRI扫描操作来生成DCE-MRI的图像,不仅能够提供患者(特别是由于身体条件原因无法注射造影剂的患者)病灶组织的生理代谢变化,还无需注射造影剂进行二次MRI动态扫描,由于其具有上述优点,对生成DCE-MRI图像的计算机后处理技术的研究正将成为各国学者研究的热点。
目前还没有研究者将深度学习方法应用于不同时相的DCE-MRI图像的生成,但其已经被广泛用于生成无遮挡、更高质量的医学图像。Yang等人根据正常的胸部X光图像,在梯度域中利用级联CNNs生成无骨骼遮挡的软组织图像。北卡罗莱纳大学沈定刚教授团队根据常规平扫MRI脑图像,利用CNNs生成脑部7T MRI、CT及PET图像。随着基于CNNs的超分辨率图像重构算法的提出,Oktaty等人根据三维MRI低分辨率图像重构生成高分辨率心脏MRI图像。并且,深度学习方法不仅可以重构生成具有空间灰度信息的图像,还可以推断生成高分辨率图像涉及到的成像参数。虽然,深度学习方法在多种图像生成领域均取得令人瞩目的成果,但这些算法均是利用CNNs生成二维或三维图像。
发明内容
鉴于此,本发明公开提供了基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法,该方法可以提取相邻时相图像的低维与高维特征,并利用这些特征及其相关信息生成四维DCE-MRI图像。
本发明提供的技术方案,具体为,基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法,其特征在于,所述W型神经网络结构模型的训练过程包括:
获取训练数据集;
根据所述训练数据集训练W型神经网络结构模型;所述W型神经网络结构模型由一条收缩路径及两条上升扩张路径构成组成;
根据两条上升路径的输出与相邻两时相金标准乳腺DCE-MRI图像之间的差来计算损失函数;
根据损失函数的值利用反向传播方法更新W型网络参数的值;
通过多次迭代更新,使得损失函数值逐渐收敛,最终完成W型网络模型的训练。
所述W型神经网络结构模型的测试过程包括:采集造影剂注射前T0时相的三维MRI图像数据I0,将图像数据I0输入至训练好的所述基于空间及时间信息的W型神经网络结构模型,生成造影剂注射后Ti与Ti+1时四维DCE-MRI时间-空间序列图像Ii与Ii+1
所述收缩路径同时提取相邻两时相图像的低维特征,紧跟的两条扩张路径分别提取相邻两时相图像的高维特征,通过跳跃连接将收缩路径上卷积层的输出分别与两条扩张路径上卷积层的输入相连接,且两条扩张路径上卷积层的输入相连。
根据不同的特征体分辨率,W型神经网络结构的路径分为不同状态,每个状态由2个块组成,每个块含有一个3×3×3的卷积层及紧跟的一个BN层和一个ReLu层,在收缩下降路径上,第二个块后连接一个核大小为2×2×2的最大下采样层;两条扩张上升路径的最后一层均为1×1×1的卷积层,分别输出一组三维MRI图像。
根据所述训练数据集包括注射照影剂后的5个不同时相的训练数据,训练3个不同W型神经网络来生成注射照影剂后的5个不同时相的图像。
在所述训练数据集训练W型神经网络结构模型中,使用平均绝对误差MAE作为回归损失函数,其定义如下:
Figure BDA0002976199910000021
其中,M为同时生成相邻时相图像的数目,W、H与D分别表示三维MRI增强图像的长、宽与高,Vgi为第i时相金标准MRI图像的像素值,Vpi为相应的生成图像的像素值。
本发明提供的基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法。该方法考虑到不同时相以及同一时相不同层面的MRI图像之间均有着紧密联系,针对相邻时相DCE-MRI图像间的相互关系,提出基于空间及时间信息的W型图像生成网络。该网络同时提取相邻时相图像的低维与高维特征,并利用这些特征及其相关信息生成四维DCE-MRI时间-空间序列图像。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明的公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明公开实施例提供的W型网络结构示意图;
图2为应用本发明公开实施例提供的W型网络结构生成图像的结果表示。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的系统的例子。
现有技术中,常用的循环神经网络如长短期记忆网络等将时间序列信息加入到网络中,但其仅使用各种简单的线性“门”来考虑过去时相的输入对当前状态的影响。在生成内容复杂且灰度不均匀的DCE-MRI图像时,结果可能并不理想。并且,没有考虑当前时相输入在整个时间序列图像中位置不同的影响。由于在不同阶段的相同时间内造影剂衰减量并不相同,因此各相邻时相之间图像的变化也不同,采用相同的特征无法描述这种变化的差异。据此,本实施方案针对相邻时相DCE-MRI图像间的相互关系,提出的三维W型网络结构能够充分利用图像的空间及时间信息生成四维DCE-MRI图像。
基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法,所述W型神经网络结构模型的训练过程包括:
获取训练数据集;
如图1所示,根据所述训练数据集训练W型神经网络结构模型;
该模型由一条收缩路径及两条上升路径构成组成。根据两条上升路径的输出与相连两时相金标准乳腺DCE-MRI图像之间的差来计算损失函数,再根据损失函数的值利用反向传播方法更新W型网络参数的值。通过多次迭代更新,使得损失函数值逐渐收敛。此时,完成W型网络模型的训练。
采集造影剂注射前T0时相的三维MRI图像数据I0,将图像数据I0输入至训练好的所述基于空间及时间信息的W型神经网络结构模型,生成造影剂注射后Ti与Ti+1时四维DCE-MRI时间-空间序列图像Ii与Ii+1。其中W型网络结构如图1所示,图中方块旁数字表示卷积核数目,在整个网络中,每一个卷积层后跟随一个BN层及一个ReLU激活层,这两层在图中省略未显示。
W型神经网络结构模型包括收缩路径及其后连续紧跟的两条扩张路径,这种对称结构形成W型全连接网络。收缩路径同时提取相邻两时相图像的低维特征,紧跟的两条扩张路径分别提取它们的高维特征。通过跳跃连接将收缩路径上卷积层的输出分别与两条扩张路径上卷积层的输入相连接,并将两条扩张路径上卷积层的输入相连,使得该网络能够同时利用相邻时相图像的低维及高维特征来生成图像。
根据不同的特征体分辨率,W型神经网络结构的路径分为不同状态,每个状态由2个块组成,每个块含有一个3×3×3的卷积层及紧跟的一个BN层和一个ReLu层,在收缩(扩张)路径上,第二个块后连接一个核大小为2×2×2的最大下采样(上卷积)层,使特征体在三个方向上的大小都减半(加倍)。两条扩张路径的最后一层均为1×1×1的卷积层,其将特征图数目从16变为1,分别输出一组三维MRI图像。
本实施方案中根据所述训练数据集训练3个W型神经网络结构模型,以保证生成5组不同时相的增强MRI图像。同时,尝试增加右侧扩张路径的数目,减少训练网络的数目,更加充分地利用多时相图像间的相互信息来同时生成更多时相的增强MRI图像。
根据所述训练数据集包括注射照影剂后的5个不同时相的训练数据,训练3个不同的W型神经网络就能够实现全部DCE-MRI图像的生成。一组DCE-MRI图像包括6个不同时态图像,其中注射照影剂前1个,之后每隔90秒扫描成像一次,一共5次。一个W型网络能够生成注射造影剂后2次成像的图像。因此,3个网络就能够生成5个图像,实现全部图像的生成。
在所述训练数据集训练W型神经网络结构模型中,使用平均绝对误差MAE作为回归损失函数,平均绝对误差(Mean-absolute-error,MAE)是一种常用的回归损失函数,定义为目标值与预测值的绝对差值的平均。它表示预测值的平均误差幅度,且不需要考虑误差的方向。在计算W型网络的MAE时,需同时考虑多组生成的三维MRI图像,而它们又紧密相关。期望当每组图像均生成准确时,MAE值最小,生成结果最佳。据此,定义基于MAE的损失函数为
Figure BDA0002976199910000051
其中,M为同时生成相邻时相图像的数目,W、H与D分别表示三维MRI增强图像的长、宽与高,Vgi为第i时相金标准MRI图像的像素值,Vpi为相应的生成图像的像素值。
应用上述提供的W型网络结构生成动态增强核磁共振图像,做了如下实验:实验数据为60位患者的乳腺DCE-MRI T1加权抑脂图像(病人隐私信息将被除去)。每位患者在注射造影剂(钆喷酸葡胺)前扫描1次生成图像I0,注射后间隔90s扫描5次生成图像I1-I5。每组图像大小均为784×784×180像素,其在X,Y与Z方向的分辨率分别为0.45mm,0.45mm与1.00mm,对图像进行三线性插值使其在三个方向的分辨率均为1.00mm。
图2为一组乳腺DCE-MRI图像不同时相的原始图像及预测生成结果。不同时相的生成图像均能反映真实乳腺组织结构,生成结果令人满意。对于数据库中的30组图像进行实验,使用生成图像与真实图像间的平均峰值信噪比来评价图像生成质量,对于生成的5个时相的图像的峰值信号比分别可以达到11.15,10.98,11.04,10.92及10.89。可见应用本实施方案提供的方法,考虑到不同时相以及同一时相不同层面的MRI图像之间均有着紧密联系,依据三维MRI平扫图像,生成四维DCE-MRI时间-空间序列图像,应用该方法实现了应用计算机后处理技术代替注射造影剂后的多次MRI扫描操作来生成DCE-MRI的图像,不仅能够提供患者(特别是由于身体条件原因无法注射造影剂的患者)病灶组织的生理代谢变化,还无需注射造影剂进行二次MRI动态扫描。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。

Claims (6)

1.基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法,其特征在于,所述W型网络结构的训练过程包括:
获取训练数据集;
根据所述训练数据集训练W型神经网络结构模型;
所述W型神经网络结构模型由一条收缩路径及两条上升扩张路径构成组成;
根据两条上升路径的输出与相邻两时相金标准乳腺DCE-MRI图像之间的差来计算损失函数;
根据损失函数的值利用反向传播方法更新W型网络参数的值;
通过多次迭代更新,使得损失函数值逐渐收敛,最终完成W型网络模型的训练。
2.根据权利要求1所述的方法,其特征在于,所述W型神经网络结构模型的测试过程包括:采集造影剂注射前T0时相的三维MRI图像数据I0,将图像数据I0输入至训练好的所述基于空间及时间信息的W型神经网络结构模型,生成造影剂注射后Ti与Ti+1时四维DCE-MRI时间-空间序列图像Ii与Ii+1
3.根据权利要求1所述的方法,其特征在于,所述收缩路径同时提取相邻两时相图像的低维特征,紧跟的两条扩张路径分别提取相邻两时相图像的高维特征,通过跳跃连接将收缩路径上卷积层的输出分别与两条扩张路径上卷积层的输入相连接,且两条扩张路径上卷积层的输入相连。
4.根据权利要求2所述的方法,其特征在于,根据不同的特征体分辨率,W型神经网络结构的路径分为不同状态,每个状态由2个块组成,每个块含有一个3×3×3的卷积层及紧跟的一个BN层和一个ReLu层,在收缩下降路径上,第二个块后连接一个核大小为2×2×2的最大下采样层;两条扩张上升路径的最后一层均为1×1×1的卷积层,再分别经过激活函数Tanh输出一组三维MRI图像。
5.根据权利要求1所述的方法,其特征在于,根据所述训练数据集,训练3个不同W型神经网络来生成注射照影剂后的5个不同时相的图像。
6.根据权利要求1所述的方法,其特征在于,在所述训练数据集训练W型神经网络结构模型中,使用平均绝对误差MAE作为回归损失函数,其定义如下:
Figure FDA0002976199900000011
其中,M为同时生成相邻时相图像的数目,W、H与D分别表示三维MRI增强图像的长、宽与高,Vgi为第i时相金标准MRI图像的像素值,Vpi为相应的生成图像的像素值。
CN202110274871.2A 2021-03-15 2021-03-15 基于空间及时间信息的w型网络结构的dce-mri图像生成方法 Pending CN113052932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110274871.2A CN113052932A (zh) 2021-03-15 2021-03-15 基于空间及时间信息的w型网络结构的dce-mri图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110274871.2A CN113052932A (zh) 2021-03-15 2021-03-15 基于空间及时间信息的w型网络结构的dce-mri图像生成方法

Publications (1)

Publication Number Publication Date
CN113052932A true CN113052932A (zh) 2021-06-29

Family

ID=76512615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110274871.2A Pending CN113052932A (zh) 2021-03-15 2021-03-15 基于空间及时间信息的w型网络结构的dce-mri图像生成方法

Country Status (1)

Country Link
CN (1) CN113052932A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077791A (zh) * 2014-05-22 2014-10-01 南京信息工程大学 一种多幅动态对比度增强核磁共振图像联合重建方法
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111340816A (zh) * 2020-03-23 2020-06-26 沈阳航空航天大学 一种基于双u型网络框架的图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077791A (zh) * 2014-05-22 2014-10-01 南京信息工程大学 一种多幅动态对比度增强核磁共振图像联合重建方法
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111340816A (zh) * 2020-03-23 2020-06-26 沈阳航空航天大学 一种基于双u型网络框架的图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马明明 等: "U-Net深度学习模型对DCE-MRI上乳腺肿块自动分割和定位的准确性分析", 放射学实践, vol. 35, no. 8, 20 August 2020 (2020-08-20), pages 1030 - 1036 *

Similar Documents

Publication Publication Date Title
US11806189B2 (en) Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
Lyu et al. Super-resolution MRI through deep learning
Song et al. Deep learning-based automatic segmentation of images in cardiac radiography: a promising challenge
Xia et al. Super-resolution of cardiac MR cine imaging using conditional GANs and unsupervised transfer learning
Banerjee et al. A completely automated pipeline for 3D reconstruction of human heart from 2D cine magnetic resonance slices
Frakes et al. Application of an adaptive control grid interpolation technique to morphological vascular reconstruction
Gao et al. Deep learning-based digital subtraction angiography image generation
Al Khalil et al. On the usability of synthetic data for improving the robustness of deep learning-based segmentation of cardiac magnetic resonance images
Singh et al. Medical image generation using generative adversarial networks
Qiu et al. Medical image super-resolution reconstruction algorithms based on deep learning: A survey
CN116823625B (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
Yan et al. Cine MRI analysis by deep learning of optical flow: Adding the temporal dimension
Zhou et al. 3D segmentation guided style-based generative adversarial networks for pet synthesis
Sun et al. Double U-Net CycleGAN for 3D MR to CT image synthesis
Wang et al. Brain MR image super-resolution using 3D feature attention network
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
Wang et al. MSE-Fusion: Weakly supervised medical image fusion with modal synthesis and enhancement
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
Xu et al. Deep adaptive blending network for 3D magnetic resonance image denoising
WO2022163402A1 (ja) 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
Yu et al. Cardiac LGE MRI segmentation with cross-modality image augmentation and improved U-Net
CN113052932A (zh) 基于空间及时间信息的w型网络结构的dce-mri图像生成方法
Zhao et al. Medical images super resolution reconstruction based on residual network
GB2576945A (en) Image processing methods
Alogna et al. Brain magnetic resonance imaging generation using generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination