CN114184296A - 基于迁移学习的多模微环谐振腔温度传感处理方法及装置 - Google Patents
基于迁移学习的多模微环谐振腔温度传感处理方法及装置 Download PDFInfo
- Publication number
- CN114184296A CN114184296A CN202111366640.0A CN202111366640A CN114184296A CN 114184296 A CN114184296 A CN 114184296A CN 202111366640 A CN202111366640 A CN 202111366640A CN 114184296 A CN114184296 A CN 114184296A
- Authority
- CN
- China
- Prior art keywords
- temperature
- micro
- transfer learning
- resonant cavity
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K11/00—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K7/00—Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements
- G01K7/16—Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements using resistive elements
- G01K7/22—Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements using resistive elements the element being a non-linear resistance, e.g. thermistor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Nonlinear Science (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明公开了一种基于迁移学习的多模微环谐振腔温度传感处理方法及装置,其包括如下步骤:S1:采集多模微环谐振腔温度传感器多个模式下对应的多个采样点的光谱数据和温度数据;S2:选取多个模式的谐振波长作为BP神经网络的输入,温度作为标签值,对BP神经网络进行训练,对多个模式下的温度进行预测;S3:对于传感数据采用迁移学习模型来进行迁移学习,并获得新的模型;S4:将传感数据输入新的模型获得温度预测结果。本发明引入迁移学习的思想,充分利用已获取的数据,实现温度测量,解决传感数据获取困难,数据量少的问题。
Description
技术领域
本发明属于光学传感器技术领域,具体涉及光学微谐振腔。
背景技术
光学微谐振腔,是一种能够将光场束缚在一个很小的空间内的光学系统。近年来基于回音壁模式(WGM)的光学微腔已引起了广泛的研究。WGM形成于光学环形谐振器中,由于多个内部整体反射,光沿着谐振器的外围被引导,从而使得返回波开始干扰自身。WGM的场主要位于微腔内,并部分通过倏逝场渗透到外部环境中。检测外部参数变化的机制是基于对WGM光谱共振频率偏移、线宽展宽和模式分裂等变化的监测。WGM传感器已被广泛用于各种基于场的传感应用,包括电场、磁场、压力和温度等]。由于微腔具有极高的灵敏度与高品质因子,在传感方面具有巨大的优势。
相比较于传统的单模传感测量方法,通过机器学习等传感信息处理方法进行融合基于回音壁微腔的多模传感信息,不仅提升了传感的探测极限,而且在混合成分识别等领域的多参量传感中得到广泛的应用。然后,WGM微谐振器传感器仍面临许多挑战和潜在的发展方向,例如,对于WGM传感器获取的数据获取困难,数据量少等问题。
发明内容
本发明所要解决的技术问题就是提供一种基于迁移学习的多模微环谐振腔温度传感处理方法,解决传感数据获取困难,数据量少的问题。
为解决上述技术问题,本发明采用如下技术方案:
基于迁移学习的多模微环谐振腔温度传感处理方法,包括如下步骤:
S1:采集多模微环谐振腔温度传感器多个模式下对应的多个采样点的光谱数据和温度数据;
S2:选取多个模式的谐振波长作为BP神经网络的输入,温度作为标签值,对BP神经网络进行训练,对多个模式下的温度进行预测;
S3:对于传感数据采用迁移学习模型来进行迁移学习,并获得新的模型;
S4:将传感数据输入新的模型获得温度预测结果。
优选的,BP神经网络模型包括输入层、隐藏层和输出层,其中输入层包含3个神经元个数,分别输入3个模式,输出层输出1个神经元,即输出温度。
优选的,所述BP神经网络模型每层的激活函数都是ReLu函数,学习率为0.02,迭代次数为800次,优化器选用Adam。
优选的,所述BP神经网络模型的隐藏层采用16个隐藏节点。
本发明还提供了一种基于迁移学习的多模微环谐振腔测温实验装置,用于获得多模微环谐振腔温度传感器多个模式下对应的多个采样点的光谱数据和温度数据,包括光谱数据采集组件、温度控制和采集组件,所述温度控制和采集组件包括热敏电阻,通过温度控制和采集组件控制环境温度变化并通过热敏电阻采集环境温度,所述光谱数据采集组件包括宽谱光源发生器、偏振控制器、微环谐振腔光芯片、光波耦合模块、光谱分析仪,由宽谱光源发生器提供稳定光源至偏振器,再通过偏振器调节腔模的偏振状态,随后光源进入微环谐振腔光芯片微腔,通过光波耦合模块的调整,实现光纤维与波导耦合状况的控制,光谱分析仪获取微环谐振腔光芯片微腔的传感数据并保存。
优选的,所述光谱数据采集组件还包括显微摄像头,通过显微摄像头观察微环谐振腔光芯片,监控光纤维与波导耦合状况。
优选的,所述温度控制和采集组件包括控温灯、树莓派、显示屏、分压电路和转换器,以树莓派作为中央控制器,连接显示屏和转换器,分压电路与转换器连接,通过控温灯实现热敏电阻的温度变化,热敏电阻的阻值发生变化通过分压的形式传递给转换器,树莓派将接受到的转换器传送的电压值转换为对应温度后,控制显示屏显示当前温度值和温度稳定时间。
优选的,宽谱光源发生器的激光器的功率控制在100μW。
优选的,宽谱光源发生器输出光源的波长在1500~1620nm范围内。
本发明采用基于神经网络将从宽带频谱中提取的多模传感信息用于估计目标参数的方法,训练数据包括温度标签和对应的多模传感信息,引入迁移学习的思想,充分利用已获取的数据,实现温度测量。解决传感数据获取困难,数据量少的问题。
本发明的具体技术方案及其有益效果将会在下面的具体实施方式中结合附图进行详细的说明。
附图说明
下面结合附图和具体实施方式对本发明作进一步描述:
图1为微腔中光线传输路径示意图;
图2为迁移学习基本过程示意图;
图3为BP网络结构图;
图4为模型迁移基本框图;
图5为基于迁移学习的多模微环谐振腔测温实验装置。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
微腔中传输的光如果其入射角能达到临界值,就会在微腔中发生全反射。当光传输到谐振腔时,其光线传输路线如图1所示,当光波从输入端(E1)进入后,首先沿着直波导传输,当到达耦合区时,一部分光就会被耦合进入微腔,在微腔发生全反射,当光波沿着微腔传播一周后,一部分光便会在耦合区进入到直波导中,传输到输出端(E4),另一部分则继续在微腔内传输。经过许多次这种循环之后,腔内光场就会达到稳定状态。基于微纳光学器件传感器的基本原理是:将被测对象置于微纳光结构中,从而将微纳结构中的光场与被测对象耦合起来。处于光场中的被测对象的变化会改变光场的光学性质,例如光场的强度、波长、频率、相位、偏振态等,通过测量这些光学性质的改变就可以反推出被测对象的信息。
WGM微环谐振腔温度传感原理在于外界温度变化会影响微环波导有效折射率的变化,从而导致谐振波长漂移,根据谐振波长漂移量实现温度的设计。传统的方法只是测量单个谐振模在微腔中的透射深度变化,但单一信息信道会限制单模传感性能。
在WGM微腔中,不同波长的WGM具有不同的方位模数、偏振度、品质因子等。多模传感方法是通过记录由多个谐振模组成的宽带透射谱来实现的,主要通过结合机器学习算法,将从宽带频谱中提取的多模传感信息有效地用于估计目标参数。在不同温度下,每个模式的深度均不相同,且变化近似为一种线性关系,所以根据以上基本原理,利用机器学习的算法对其建立模型来训练实现温度测量实验的设计。
如图2所示,迁移学习的定义可以根据域和任务的含义归纳得到。给定一个源领域Ds和与其对应的源任务Ts,以及一个目标领域Dt和与其对应的目标任务Tt。迁移学习就是指从源域的Ds和Ts中学习知识,运用到目标域Dt中,提升目标域预测F(x)的性能。其中,满足条件Ds≠DT或者Ts≠TT。迁移学习能够实现从源领域迁移知识到目标领域中。和传统的机器学习相比,迁移学习实现了快速学习,并解决了源领域的数据量充足,而目标领域数据量较小的问题。
在微环谐振腔中,多个模式提供了丰富的传感信息,但该高维数据和传感目标结果之间关系复杂,因此人工神经网络被利用来有效处理多模传感信息。神经网络训练需要获取足够多的数据,然而,多模式下的大量传感数据获取相对困难。迁移学习适用于解决带标注样本不足问题,因此,温度测量采用基于神经网络将从宽带频谱中提取的多模传感信息用于估计目标参数的方法,训练数据包括温度标签和对应的多模传感信息,引入迁移学习的思想,充分利用已获取的数据,实现温度测量。
基于迁移学习的多模微环谐振腔温度传感处理方法,包括如下步骤:
S1:采集多模微环谐振腔温度传感器多个模式下对应的多个采样点的光谱数据和温度数据;
S2:选取多个模式的谐振波长作为BP神经网络的输入,温度作为标签值,对BP神经网络进行训练,对多个模式下的温度进行预测;
S3:对于传感数据采用迁移学习模型来进行迁移学习,并获得新的模型;
S4:将传感数据输入新的模型获得温度预测结果。
BP神经网络的结构如图3所示的一个三层结构,分别为输入层,隐藏层和输出层。
关于隐藏层,适当的增加其层数可以有效的降低网络误差,提高模型的准确率。但是它也使网络复杂化了从而导致训练时间过长或出现过拟合的情况。在BP神经网络中,输入层和输出层的节点个数都是确定的,而隐含层节点个数是不确定的,其可以根据经验公式来确定:
式中h为隐藏节点数,m和n分别为输入和输出节点的个数,a为1-20左右的调解数。本实施例采用16个隐藏节点的网络来对数据进行训练。
本实施例构建的三层BP神经网络温度传感信号的测模型的输入层包含3个神经元个数,分别输入3个模式,输出16个神经元个数;第二层输入16个神经元,输出1个神经元,即输出温度。每层的激活函数都是ReLu函数,学习率为0.02,迭代次数为800次,优化器选用Adam。
模型迁移法就是寻找源域数据和目标域数据之间可以共享的参数信息从而可以把已获得的模型知识迁移。迁移建模方法由于需求数据少,灵活性高,可以利用少量数据在原有模型基础上进行迁移,使其适应新环境下的测量模型。
对于传感数据进行模型迁移的基本原理如图4所示,基本步骤如下:
(1)网络结构参数随机初始化,通过载入第一批数据训练,构建温度预测模型作为基本模型,并保存网络的参数。
(2)加载基本模型参数来初始化网络,然后载入第二批数据训练微调,保存新的参数,得到新模型。
(3)重复操作步骤(2)
(4)对迁移后得到的新模型进行测试,检测迁移学习的效果。
参考图5所示,基于迁移学习的多模微环谐振腔测温实验装置,包括光谱数据采集组件、温度控制和采集组件,所述温度控制和采集组件包括热敏电阻,通过温度控制和采集组件控制环境温度变化并通过热敏电阻采集环境温度,所述光谱数据采集组件块包括宽谱光源发生器、偏振控制器、微环谐振腔光芯片、光波耦合模块、光谱分析仪,由宽谱光源发生器提供稳定光源至偏振器,再通过偏振器调节腔模的偏振状态,随后光源进入微环谐振腔光芯片微腔,通过光波耦合模块的调整,实现光纤维与波导耦合状况的控制,光谱分析仪获取微环谐振腔光芯片微腔的传感数据并保存。
其中,偏振控制器抑制除引起谐振的模式外其余模式的光波,使得谐振模式更加显著。通过调整光谱分析仪的波长范围和分辨率来获取实验所需的传感数据。
所述光谱数据采集组件还包括显微摄像头,通过显微摄像头观察微环谐振腔光芯片,监控光纤维与波导耦合状况。所述温度控制和采集组件包括控温灯、树莓派、显示屏、分压电路和转换器,以树莓派作为中央控制器,连接显示屏和转换器,分压电路与转换器连接,通过控温灯实现热敏电阻的温度变化,热敏电阻的阻值发生变化通过分压的形式传递给转换器,树莓派将接受到的转换器传送的电压值转换为对应温度后,控制显示屏显示当前温度值和温度稳定时间。
为了获取多个实验数据,通过调整施加在热敏电阻上控温灯的亮度,便可获取在不同温度下的频谱数据。控温灯可在室温23℃时,提供10℃的温差,控温精度不低于0.1℃。
宽谱光源发生器的激光器的功率控制在100μW。激光器通过锥形透镜光纤耦合到传感器中。在低的激发功率下,可使得微腔中的非线性效应可以忽略。并且,模式之间的频率间隔足够大,可以防止模式之间发生相互作用。
宽带光源的输出强度分布与波长决定基线的形成,宽谱光源发生器输出光源的波长在1500~1620nm范围内。这样会存在大约50个强而窄的共振凹陷,这些凹陷代表由宽带光源激发的传感器内部的共振模式,收集到的以上传感数据作为神经网络训练的输入数据。
在实验过程中,分4次获取4批数据,每批采集60组,取50组作为训练数据,10组作为测试数据。每组数据采集波长范围为1560nm到1570nm,温度范围为24.7℃到31.6℃之间,包含5000个采样点,选取3个模式处的谐振波长作为神经网络的输入,温度作为标签值,对神经网络进行训练,最后根据测试数据的三个输入模式来对温度进行预测。
运行时,首次的网络结构参数随机初始化,然后载入第1批数据开始训练和测试,保存网络的参数。第2次训练加载第一天保存的原模型,然后载入数据训练测试保存新的参数,以此类推。
对得到的实验结果进行分析,其中10个点中有7个点的预测值与实际值有着较大的差距,其平均误差为0.0047。为了使训练模型有较多的数据,通过对提前训练好的模型来进行迁移学习,然后通过少量数据对其进行调整,然后在对那10个相同的数据进行预测,其预测结果可以发现10个点的预测结果相比没迁移时有了明显的改进,其大部分点都符合预期值,仅存在少数有偏差的数据,其平均误差为0.0011。最后实验结果表明能够在24-32℃温度范围,实现精准快速的温度测量,响应时间优于50μs,测量精度优于±0.074℃。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,熟悉该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。
Claims (9)
1.基于迁移学习的多模微环谐振腔温度传感处理方法,其特征在于,包括如下步骤:
S1:采集多模微环谐振腔温度传感器多个模式下对应的多个采样点的光谱数据和温度数据;
S2:选取多个模式的谐振波长作为BP神经网络的输入,温度作为标签值,对BP神经网络进行训练,对多个模式下的温度进行预测;
S3:对于传感数据采用迁移学习模型来进行迁移学习,并获得新的模型;
S4:将传感数据输入新的模型获得温度预测结果。
2.根据权利要求1所述的基于迁移学习的多模微环谐振腔温度传感处理方法,其特征在于,BP神经网络模型包括输入层、隐藏层和输出层,其中输入层包含3个神经元个数,分别输入3个模式,输出层输出1个神经元,即输出温度。
3.根据权利要求2所述的基于迁移学习的多模微环谐振腔温度传感处理方法,其特征在于:所述BP神经网络模型每层的激活函数都是ReLu函数,学习率为0.02,迭代次数为800次,优化器选用Adam。
4.根据权利要求2所述的基于迁移学习的多模微环谐振腔温度传感处理方法,其特征在于:所述BP神经网络模型的隐藏层采用16个隐藏节点。
5.基于迁移学习的多模微环谐振腔测温实验装置,用于获得权利要求1所述的多模微环谐振腔温度传感器多个模式下对应的多个采样点的光谱数据和温度数据,其特征在于,包括光谱数据采集组件、温度控制和采集组件,所述温度控制和采集组件包括热敏电阻,通过温度控制和采集组件控制环境温度变化并通过热敏电阻采集环境温度,所述光谱数据采集组件包括宽谱光源发生器、偏振控制器、微环谐振腔光芯片、光波耦合模块、光谱分析仪,由宽谱光源发生器提供稳定光源至偏振器,再通过偏振器调节腔模的偏振状态,随后光源进入微环谐振腔光芯片微腔,通过光波耦合模块的调整,实现光纤维与波导耦合状况的控制,光谱分析仪获取微环谐振腔光芯片微腔的传感数据并保存。
6.根据权利要求5所述的基于迁移学习的多模微环谐振腔测温实验装置,其特征在于:所述光谱数据采集组件还包括显微摄像头,通过显微摄像头观察微环谐振腔光芯片,监控光纤维与波导耦合状况。
7.根据权利要求5所述的基于迁移学习的多模微环谐振腔测温实验装置,其特征在于:所述温度控制和采集组件包括控温灯、树莓派、显示屏、分压电路和转换器,以树莓派作为中央控制器,连接显示屏和转换器,分压电路与转换器连接,通过控温灯实现热敏电阻的温度变化,热敏电阻的阻值发生变化通过分压的形式传递给转换器,树莓派将接受到的转换器传送的电压值转换为对应温度后,控制显示屏显示当前温度值和温度稳定时间。
8.根据权利要求5所述的基于迁移学习的多模微环谐振腔测温实验装置,其特征在于:宽谱光源发生器的激光器的功率控制在100μW。
9.根据权利要求8所述的基于迁移学习的多模微环谐振腔测温实验装置,其特征在于:宽谱光源发生器输出光源的波长在1500~1620nm范围内。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111366640.0A CN114184296A (zh) | 2021-11-18 | 2021-11-18 | 基于迁移学习的多模微环谐振腔温度传感处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111366640.0A CN114184296A (zh) | 2021-11-18 | 2021-11-18 | 基于迁移学习的多模微环谐振腔温度传感处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114184296A true CN114184296A (zh) | 2022-03-15 |
Family
ID=80540335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111366640.0A Pending CN114184296A (zh) | 2021-11-18 | 2021-11-18 | 基于迁移学习的多模微环谐振腔温度传感处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114184296A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117458261A (zh) * | 2023-12-26 | 2024-01-26 | 东莞市湃泊科技有限公司 | 激光器封装系统及其智能散热方法 |
-
2021
- 2021-11-18 CN CN202111366640.0A patent/CN114184296A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117458261A (zh) * | 2023-12-26 | 2024-01-26 | 东莞市湃泊科技有限公司 | 激光器封装系统及其智能散热方法 |
CN117458261B (zh) * | 2023-12-26 | 2024-04-16 | 东莞市湃泊科技有限公司 | 激光器封装系统及其智能散热方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | High sensitivity all optical fiber conductivity-temperature-depth (CTD) sensing based on an optical microfiber coupler (OMC) | |
Guan et al. | Temperature measurements using a microoptical sensor based on whispering gallery modes | |
US7324199B2 (en) | System and deconvolution process for an optical filtering device based on WGM resonance | |
CN109253986B (zh) | 一种级联傅里叶变换光谱仪的双环光学传感器 | |
Tian et al. | Deep learning assisted microwave photonic dual-parameter sensing | |
CN114184296A (zh) | 基于迁移学习的多模微环谐振腔温度传感处理方法及装置 | |
Lu et al. | Experimental demonstration of multimode microresonator sensing by machine learning | |
CN111721336A (zh) | 基于监督学习的自干涉微环谐振腔传感分类识别方法 | |
Tian et al. | Athermal microwave photonic sensor based on single microring resonance assisted by machine learning | |
Wu et al. | Multimode sensing based on optical microcavities | |
CN109580037A (zh) | 基于光子晶体光纤fp结构的温度传感器及其制作方法 | |
Yi et al. | Integrated microresonator-based microwave photonic sensors assisted by machine learning | |
Petermann et al. | Surface-immobilized whispering gallery mode resonator spheres for optical sensing | |
CN105180978A (zh) | 基于窄带光源和滤波特性可调元件的光学传感器及其方法 | |
Mao et al. | Reflective temperature sensor based on a fiber Bragg grating combined with a fiber loop ringdown technique | |
Chen et al. | Optical frequency comb-based aerostatic micro pressure sensor aided by machine learning | |
Gao et al. | Deep learning for temperature sensing with microstructure fiber in noise perturbation environment | |
Zhao et al. | Review on advances of sensors based on fiber loop ring-down spectroscopy | |
Dong et al. | Rapid and high-precision displacement sensing based on the multiple mode dip areas in a SNAP microresonator | |
TWI467158B (zh) | 光濾波器光頻譜線寬感測的應用方法 | |
CN116147811B (zh) | 利用机器学习的基于光学微腔的微力传感装置 | |
CN114199785B (zh) | 基于gan数据增强的回音壁微腔传感方法 | |
Liu et al. | Refractive Index Sensor Based on Few-mode Silicon-Nitride Micro-Ring Resonator | |
Kim et al. | Wavelength shift measurement with resonance characteristic prediction algorithm using intensities at discrete wavelengths | |
Saetchnikov et al. | Intelligent imaging sensor out of two-photon polymerized microcavities with self-sensing boosting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |