CN110298295A - 基于人脸识别的移动端在线学习监督方法 - Google Patents
基于人脸识别的移动端在线学习监督方法 Download PDFInfo
- Publication number
- CN110298295A CN110298295A CN201910557986.5A CN201910557986A CN110298295A CN 110298295 A CN110298295 A CN 110298295A CN 201910557986 A CN201910557986 A CN 201910557986A CN 110298295 A CN110298295 A CN 110298295A
- Authority
- CN
- China
- Prior art keywords
- face
- supervision
- student
- layer
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 16
- 239000011248 coating agent Substances 0.000 claims description 12
- 238000000576 coating method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000001727 in vivo Methods 0.000 claims description 8
- 238000003475 lamination Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Abstract
本发明公开了基于人脸识别的移动端在线学习监督方法，采集学生身份证照片及现场录制视频，进行视频认证，将视频认证中采集的活体人脸的照片输入已经设计好的卷积自编码器，提取出重要特征进行检测，通过后学生即可开始学习，当学习到监督点时，本发明启动视频认证，通过后可以继续学习，不通过或者学生已经离开状态，监督第一次失败，L分钟之内启动第二次监督，仍然无法通过，再次等待L分钟启动第三次监督，仍然无法通过，认证失败，学时将不再保留。本发明的有益效果是只通过一个自编码器分别提取活体人脸和伪造人脸的特征，再加上一个判别器判别输入人脸的特征与哪种特征接近即可。
Description
技术领域
本发明属于深度学习技术领域，涉及一种基于人脸识别的移动端在线学习监督方法。
背景技术
在人脸识别过程中，为了防止学生用伪造的人脸来逃避学习监督(如：彩色纸张打印人脸图，电子设备屏幕中的人脸图像以及面具等)，对监督系统采用了人脸活体检测方法。从2015年开始，已经有人陆陆续续用深度学习来做活体检测。最开始，人们通过结合卷积神经网络和长短时记忆网络(CNN-LSTM)的模型来模拟传统方法三个正交平面的局部二值模式(LBP-TOP)，但是性能堪忧；后来又使用单帧方法，通过人脸分块，预训练网络，然后再在整个人脸图微调，但是效果并不好。在去年，又有一种新的方法出现，性能终于超越了传统方法。这个方法采用自编码器得到人脸的欺骗噪声(spoof noise)，然后用这个噪声模式特征(noise pattern feature)去分类决策。但是，该方法存在一个问题，就是数据集没有像素级别一一对应的真值(groundtruth)，也没有欺骗噪声(spoofnoise)模型的先验知识，所以需要设计后续网络去保证重构出来的分布接近活体人脸(live face)，比较繁琐。
发明内容
本发明的目的在于提供基于人脸识别的移动端在线学习监督方法，本发明的有益效果是不需要为了得到像素级别一一对应的groundtruth去设计后续网络来训练，而是只通过一个自编码器分别提取活体人脸和伪造人脸的特征，再加上一个判别器判别输入人脸的特征与哪种特征接近即可。
本发明所采用的技术方案是按照以下步骤进行：
1)在线课程单元的基本单位可以按照节来对待，每一节是一个独立的视频文件，监督方法需要获取每一节的视频时长；
2)为了保证是本人，学生第一次现场报到时，学校通过系统采集学生身份证照片导入系统；
3)系统登陆及维护，当学生第一次登陆系统时，需要做的工作是进行人脸信息采集，人脸信息采集将学生照片与之前录入的身份证照片进行比对，比对成功，将学生的人脸信息存到系统中，作为下次人脸识别的对象，为了更加真实的获取学生信息，采集过程中需要学生眨眼，左、右转，人脸识别支持活体检测；
4)学生登陆系统后，首先记录登陆时间t0,选择A课程某章节进行学习，监督方法需要随机做几件事情，第一获取该节视频时长S，第二对该节视频进行随机分段，除分段中的最后一段外，要求每段视频不小于m分钟不大于n分钟，若整个视频小于m分钟，那么就按照1段处理，第三根据第二随机分段来标记分段点，开始为s0,结束点为sn+1，中间点为sn(n>＝1)，下一步监督方法将在每一个时间分段标记点启动人脸识别监督；
5)根据分段标记点，学生在学习视频时候启动视频认证，当登陆时间t0时，打开一段视频进行学习，并持续启动学习记录计时，第一个分段点不启动监督，当学生学习到第二个监督时，系统启动监督方法，人脸识别认证，通过后可以继续学习，不通过或者学生已经离开状态，监督第一次失败，L分钟之内启动第二次监督，仍然无法通过，再次等待L分钟启动第三次监督，仍然无法通过，认证失败，学时将不再保留。
本发明设计了一个人脸活体检测算法：把采集的一组活体人脸的照片放缩(resize)成224×224的大小，输入已经设计好的卷积自编码器，提取出重要特征。然后把一组伪人脸图片经上述过程也输入到卷积自编码器，提取出重要特征。因为活体人脸和伪造的人脸在深度、表情等方面都存在不同，因此特征信息也不同。因此，根据两者的特征信息不同建立了一个判别器，特征越接近活体人脸，输出越接近1，特征越接近伪造人脸，输出越接近0。最后，随机输入一张照片，根据提取的特征，看它的输出是接近1还是0即可判别该人脸图像是活体人脸还是伪造人脸。至此，该人脸活体检测算法完成。
在该算法中，卷积自编码器是由一个卷积层+一个批规范化(BN)层+一个整流线性单元(ReLu)激活层+一个卷积层+一个BN层+一个ReLu激活层+最大池化层+一个卷积层+一个BN层+一个ReLu激活层+最大池化层共11层组成，第一层卷积的卷积核大小为4×4，后两层的卷积核大小为3×3，步长都为1，BN层的目的是通过一定的规范化手段，把每层神经网络输入值的分布强行拉回到均值为0方差为1的标准正态分布，ReLu层的目的是将矩阵中大于0的数保持不变，小于0的数置为0；解码器是由五个反卷积层构成，每个反卷积层后接一个BN层和一个ReLu激活层，最后再加一个卷积核为2×2步长为1的卷积层，共16层网络，通过编码器对输入进行编码，提取输入的重要特征，然后通过解码器对输入进行重构，使得输出的图像尽可能与输入接近，从而使潜变量尽可能描述输入的特征。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明方法如下步骤：
1)在线课程单元的基本单位可以按照节来对待，每一节是一个独立的视频文件，监督方法需要获取每一节的视频时长。
2)为了保证是本人，学生第一次现场报到时，学校通过系统采集学生身份证照片导入系统。
3)系统登陆及维护，当学生第一次登陆系统时，需要做的工作是进行人脸信息采集，人脸信息采集将学生照片与之前录入的身份证照片进行比对，比对成功，将学生的人脸信息存到系统中，作为下次人脸识别的对象。为了更加真实的获取学生信息，采集过程中需要学生眨眼，左、右转，人脸识别支持活体检测。
4)学生登陆系统后，首先记录登陆时间t0,选择A课程某章节进行学习，监督方法需要随机做几件事情，第一获取该节视频时长S，第二对该节视频进行随机分段，除分段中的最后一段外，要求每段视频不小于m分钟(m建议大于等于5分钟)不大于n分钟(n<＝8分钟)，若整个视频小于m分钟，那么就按照1段处理。第三根据第二随机分段来标记分段点，开始为s0,结束点为sn+1,中间点为sn(n>＝1)，下一步监督方法将在每一个时间分段标记点启动人脸识别监督。
5)根据分段标记点，学生在学习视频时候启动视频认证，当登陆时间t0时，打开一段视频进行学习，并持续启动学习记录计时，第一个分段点不启动监督，当学生学习到第二个监督时，系统启动监督方法，人脸识别认证，通过后可以继续学习，不通过或者学生已经离开状态，监督第一次失败，L(建议小于1分钟)分钟之内启动第二次监督，仍然无法通过，再次等待L分钟启动第三次监督，仍然无法通过，认证失败，学时将不再保留。
为了达到上述要求，本发明设计了一个人脸活体检测算法，把采集的一组活体人脸的照片resize成224×224的大小，输入已经设计好的卷积自编码器，提取出重要特征。然后把一组伪人脸图片经上述过程也输入到卷积自编码器，提取出重要特征。因为活体人脸和伪造的人脸在深度、表情等方面都存在不同，因此特征信息也不同。因此，根据两者的特征信息不同建立了一个判别器，特征越接近活体人脸，输出越接近1，特征越接近伪造人脸，输出越接近0。最后，随机输入一张照片，根据提取的特征，看它的输出是接近1还是0即可判别该人脸图像是活体人脸还是伪造人脸。至此，该人脸活体检测算法完成。
本发明使用卷积自编码器的中间层去提取人脸的特征。卷积自编码器是由一个卷积层+一个BN层+一个ReLu激活层，一个卷积层+一个BN层+一个ReLu激活层+最大池化层，一个卷积层+一个BN层+一个ReLu激活层+最大池化层共11层组成，第一层卷积的卷积核大小为4×4，后两层的卷积核大小为3×3，步长都为1，BN层的目的是通过一定的规范化手段，把每层神经网络输入值的分布强行拉回到均值为0方差为1的标准正态分布，ReLu层的目的是将矩阵中大于0的数保持不变，小于0的数置为0；解码器是由五个反卷积层构成，每个反卷积层后接一个BN层和一个ReLu激活层，最后再加一个卷积核为2×2步长为1的卷积层，共16层网络。通过编码器对输入进行编码，提取输入的重要特征，然后通过解码器对输入进行重构，使得输出的图像尽可能与输入接近，从而使潜变量尽可能描述输入的特征。
以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
Claims (3)
1.基于人脸识别的移动端在线学习监督方法，其特征在于按照以下步骤进行：
1)在线课程单元的基本单位可以按照节来对待，每一节是一个独立的视频文件，监督方法需要获取每一节的视频时长；
2)为了保证是本人，学生第一次现场报到时，学校通过系统采集学生身份证照片导入系统；
3)系统登陆及维护，当学生第一次登陆系统时，需要做的工作是进行人脸信息采集，人脸信息采集将学生照片与之前录入的身份证照片进行比对，比对成功，将学生的人脸信息存到系统中，作为下次人脸识别的对象，为了更加真实的获取学生信息，采集过程中需要学生眨眼，左、右转，人脸识别支持活体检测；
4)学生登陆系统后，首先记录登陆时间t0,选择A课程某章节进行学习，监督方法需要随机做几件事情，第一获取该节视频时长S，第二对该节视频进行随机分段，除分段中的最后一段外，要求每段视频不小于m分钟不大于n分钟，若整个视频小于m分钟，那么就按照1段处理，第三根据第二随机分段来标记分段点，开始为s0,结束点为sn+1，中间点为sn(n>＝1)，下一步监督方法将在每一个时间分段标记点启动人脸识别监督；
5)根据分段标记点，学生在学习视频时候启动视频认证，当登陆时间t0时，打开一段视频进行学习，并持续启动学习记录计时，第一个分段点不启动监督，当学生学习到第二个监督时，系统启动监督方法，人脸识别认证，通过后可以继续学习，不通过或者学生已经离开状态，监督第一次失败，L分钟之内启动第二次监督，仍然无法通过，再次等待L分钟启动第三次监督，仍然无法通过，认证失败，学时将不再保留。
2.按照权利要求1所述基于人脸识别的移动端在线学习监督方法，其特征在于：本发明把采集的一组活体人脸的照片resize成224×224的大小，输入已经设计好的卷积自编码器，提取出重要特征。然后把一组伪人脸图片经上述过程也输入到卷积自编码器，提取出重要特征。因为活体人脸和伪造的人脸在深度、表情等方面都存在不同，因此特征信息也不同。因此，根据两者的特征信息不同建立了一个判别器，特征越接近活体人脸，输出越接近1，特征越接近伪造人脸，输出越接近0。最后，随机输入一张照片，根据提取的特征，看它的输出是接近1还是0即可判别该人脸图像是活体人脸还是伪造人脸。至此，该人脸活体检测算法完成。
3.按照权利要求1所述基于人脸识别的移动端在线学习监督方法，其特征在于：所述卷积自编码器是由一个卷积层+一个BN层+一个ReLu激活层，一个卷积层+一个BN层+一个ReLu激活层+最大池化层，一个卷积层+一个BN层+一个ReLu激活层+最大池化层共11层组成，第一层卷积的卷积核大小为4×4，后两层的卷积核大小为3×3，步长都为1，BN层的目的是通过一定的规范化手段，把每层神经网络输入值的分布强行拉回到均值为0方差为1的标准正态分布，ReLu层的目的是将矩阵中大于0的数保持不变，小于0的数置为0；解码器是由五个反卷积层构成，每个反卷积层后接一个BN层和一个ReLu激活层，最后再加一个卷积核为2×2步长为1的卷积层，共16层网络，通过编码器对输入进行编码，提取输入的重要特征，然后通过解码器对输入进行重构，使得输出的图像尽可能与输入接近，从而使潜变量尽可能描述输入的特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910557986.5A CN110298295A (zh) | 2019-06-26 | 2019-06-26 | 基于人脸识别的移动端在线学习监督方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910557986.5A CN110298295A (zh) | 2019-06-26 | 2019-06-26 | 基于人脸识别的移动端在线学习监督方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110298295A true CN110298295A (zh) | 2019-10-01 |
Family
ID=68028758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910557986.5A Pending CN110298295A (zh) | 2019-06-26 | 2019-06-26 | 基于人脸识别的移动端在线学习监督方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298295A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402439A (zh) * | 2020-03-12 | 2020-07-10 | 郝宏志 | 一种基于人脸识别的在线培训到课率统计管理方法及系统 |
| CN111797696A (zh) * | 2020-06-10 | 2020-10-20 | 武汉大学 | 一种现场自主学习的人脸识别系统和方法 |
| CN112133311A (zh) * | 2020-09-18 | 2020-12-25 | 科大讯飞股份有限公司 | 说话人识别方法、相关设备及可读存储介质 |
| CN112364321A (zh) * | 2020-11-05 | 2021-02-12 | 巢湖学院 | 基于云桌面的用于移动学习智能手机的监测方法 |
| CN112651858A (zh) * | 2020-09-23 | 2021-04-13 | 武汉铁路职业技术学院 | 一种在线学习监督辅助系统 |
| CN113591142A (zh) * | 2021-06-18 | 2021-11-02 | 国网宁夏电力有限公司物资公司 | 一种用于招投标的评标方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205646A (zh) * | 2015-08-07 | 2015-12-30 | 江苏诚创信息技术研发有限公司 | 自动点名系统及实现自动点名系统的方法 |
| CN105956572A (zh) * | 2016-05-15 | 2016-09-21 | 北京工业大学 | 一种基于卷积神经网络的活体人脸检测方法 |
| US20180053057A1 (en) * | 2016-08-18 | 2018-02-22 | Xerox Corporation | System and method for video classification using a hybrid unsupervised and supervised multi-layer architecture |
| CN108537152A (zh) * | 2018-03-27 | 2018-09-14 | 百度在线网络技术（北京）有限公司 | 用于检测活体的方法和装置 |
| CN208421888U (zh) * | 2018-06-19 | 2019-01-22 | 江苏师范大学 | 一种基于人脸识别的学生实时考勤系统 |
-
2019
- 2019-06-26 CN CN201910557986.5A patent/CN110298295A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205646A (zh) * | 2015-08-07 | 2015-12-30 | 江苏诚创信息技术研发有限公司 | 自动点名系统及实现自动点名系统的方法 |
| CN105956572A (zh) * | 2016-05-15 | 2016-09-21 | 北京工业大学 | 一种基于卷积神经网络的活体人脸检测方法 |
| US20180053057A1 (en) * | 2016-08-18 | 2018-02-22 | Xerox Corporation | System and method for video classification using a hybrid unsupervised and supervised multi-layer architecture |
| CN108537152A (zh) * | 2018-03-27 | 2018-09-14 | 百度在线网络技术（北京）有限公司 | 用于检测活体的方法和装置 |
| CN208421888U (zh) * | 2018-06-19 | 2019-01-22 | 江苏师范大学 | 一种基于人脸识别的学生实时考勤系统 |
Non-Patent Citations (3)
| Title |
|---|
| CHIH-CHUNG HSU: "Learning to Detect Fake Face Images in the Wild", 《2018 INTERNATIONAL SYMPOSIUM ON COMPUTER》, pages 1 - 4 * |
| 李思泉等: "基于卷积神经网络的人脸表情识别研究", 《软件导刊》 * |
| 李思泉等: "基于卷积神经网络的人脸表情识别研究", 《软件导刊》, no. 01, 15 January 2018 (2018-01-15), pages 32 - 35 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402439A (zh) * | 2020-03-12 | 2020-07-10 | 郝宏志 | 一种基于人脸识别的在线培训到课率统计管理方法及系统 |
| CN111797696A (zh) * | 2020-06-10 | 2020-10-20 | 武汉大学 | 一种现场自主学习的人脸识别系统和方法 |
| CN112133311A (zh) * | 2020-09-18 | 2020-12-25 | 科大讯飞股份有限公司 | 说话人识别方法、相关设备及可读存储介质 |
| CN112651858A (zh) * | 2020-09-23 | 2021-04-13 | 武汉铁路职业技术学院 | 一种在线学习监督辅助系统 |
| CN112364321A (zh) * | 2020-11-05 | 2021-02-12 | 巢湖学院 | 基于云桌面的用于移动学习智能手机的监测方法 |
| CN113591142A (zh) * | 2021-06-18 | 2021-11-02 | 国网宁夏电力有限公司物资公司 | 一种用于招投标的评标方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298295A (zh) | 基于人脸识别的移动端在线学习监督方法 | |
| Yuan et al. | Fingerprint liveness detection using an improved CNN with image scale equalization | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN107886064B (zh) | 一种基于卷积神经网络的人脸识别场景适应的方法 | |
| CN108509862B (zh) | 抗角度与遮挡干扰的快速人脸识别方法 | |
| CN104751108B (zh) | 人脸图像识别装置和人脸图像识别方法 | |
| Sun et al. | Ordinal measures for iris recognition | |
| Messer et al. | Face verification competition on the XM2VTS database | |
| CN108596041B (zh) | 一种基于视频的人脸活体检测方法 | |
| CN111931758B (zh) | 一种结合面部静脉的人脸识别方法及装置 | |
| CN104298973B (zh) | 基于自编码器的人脸图像旋转方法 | |
| Ng et al. | Iris recognition using rapid Haar wavelet decomposition | |
| CN109446991A (zh) | 基于全局和局部特征融合的步态识别方法 | |
| CN108805077A (zh) | 一种基于三元组损失函数的深度学习网络的人脸识别系统 | |
| CN106295501A (zh) | 基于唇部运动的深度学习身份识别方法 | |
| CN102900305A (zh) | 一种基于人脸识别的无钥保险柜系统 | |
| CN108875907A (zh) | 一种基于深度学习的指纹识别方法和装置 | |
| Wang et al. | Forgerynir: deep face forgery and detection in near-infrared scenario | |
| Hu et al. | Toward driver face recognition in the intelligent traffic monitoring systems | |
| CN109977887A (zh) | 一种抗年龄干扰的人脸识别方法 | |
| CN106529377A (zh) | 一种基于图像的年龄估计方法、装置及系统 | |
| CN111178130A (zh) | 一种基于深度学习的人脸识别方法、系统和可读存储介质 | |
| CN106203322A (zh) | 一种基于手背静脉与掌纹融合图像的身份认证系统及方法 | |
| Naveen et al. | Face recognition and authentication using LBP and BSIF mask detection and elimination | |
| CN103927518B (zh) | 一种用于人脸分析系统的人脸特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |