CN112102414A - 基于改进遗传算法和神经网络的双目远心镜头标定方法 - Google Patents
基于改进遗传算法和神经网络的双目远心镜头标定方法 Download PDFInfo
- Publication number
- CN112102414A CN112102414A CN202010874789.9A CN202010874789A CN112102414A CN 112102414 A CN112102414 A CN 112102414A CN 202010874789 A CN202010874789 A CN 202010874789A CN 112102414 A CN112102414 A CN 112102414A
- Authority
- CN
- China
- Prior art keywords
- genetic algorithm
- calibration
- coordinates
- binocular
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
基于改进遗传算法和神经网络的双目远心镜头标定方法,包括:通过高精密移动平台和双目远心相机同时拍摄获取两组双目远心标定图像;对获取的标定图像进行图像处理,提取左右标定图像中十字的中心点坐标作为匹配特征点的二维像素坐标。通过改进的遗传算法,可以获得更加精确的参数值,使相机标定更加准确;通过RBF神经网络方法,可以不用再考虑远心镜头的放大倍数,变形因子以及两相机之间的位置关系。本发明的方法,可以在短时间内实现高精度、自动化形式的相机标定,完全符合工业要求的相机标定误差范围。
Description
技术领域
本发明涉及改进遗传算法、RBF神经网络算法、DLT线性算法和相机标定中图像处理方法等,具体涉及一种基于改进遗传算法和神经网络的双目远心镜头标定方法。
背景技术
相机标定是指在世界坐标系转换为相机坐标系,相机坐标系转换为图像坐标系中,求解世界坐标系中的三维物体坐标和二维像素坐标之间的映射关系,即求解两者间之间的对应矩阵M,M为一个3×4的矩阵,包含了相机的内参和外参。无论是视觉测量领域还是在机器视觉领域中,相机标定都是至关重要的第一步。相机标定的方法主要有传统相机标定、主动视觉标定和相机自标定法等,如张正友等人的线性标定[1]、Tsai R Y的两步标定[2]、Faig W的非线性标定[3]。传统相机标定法参数求解稳定,但精度不是很高;主动视觉标定法仅适用于运动信息已知;相机自标定法位置参数过多,结果不稳定。目前对于双目立体视觉,因测量精度要求过硬,采用传统的标定方法,再利用非线性优化方法对参数进行优化,但通常会造成局部或过早收敛。例如标准遗传算法在摄像机标定参数非线性优化过程中,易出现过早收敛和停滞现象的问题。但这种方法并不能实时的得出三维物体坐标。随着神经网络算法的流行,在测量领域也初露锋芒,比如有Memon与Khan使用简单浅层的神经网络进行相机标定[4],但是标定结果的精度不是很高;葛动元等人利用嵌入权值的方法得到了相机参数[5],但不能实时得出三维点;刘小娟等人利用神经网络进行大范围相机标定[6],但标靶拍摄时间过长,增加了标定时间。目前现有报道中的相机标定大都是采用普通镜头,利用远心镜头标定的较少,基本皆是应用在高精密测量领域中,而且还是采用传统的相机标定法。张氏标定法是目前较为稳定的相机标定法,但在实际工况中,这种方法操作空间过于狭小,并且需要采集大量的标定图像,过程复杂繁琐,并不太适用现实的工业应用。
传统的线性方法可以求解相机内外参关系矩阵M,但精度不是很高;利用标准的遗传算法对内外参进行优化,但容易出现陷入局部最小和迭代停滞的现象,该方法可以求出精度很高的关系矩阵M,但却不能在现实工况中实时得出三维点;综合考虑上述现有技术的问题,目前已有能在三维世界坐标系Z轴上进行微小移动的高精密平台,利用此仪器可以快速自动的获取精度极高的左右标靶图像。
参考文献:
[1]马颂德,张正友.计算机视觉-计算理论与算法基础[M].北京:科学出版社,1998:169-203.
[2]Tsai R Y.An efficient and accurate camera calibration techniquefor 3D machine vision[C].Proceeding IEEE conference on Computer Vision andPattern Recognition,1986:364-374.
[3]Faig W.Calibration of close-range photogrammetric systemmathematical formulation[J].Photommetric EngRe-mote Sensing,1975,41(12):1479-1486.
[4]Memon Q,Khan S.Camera calibration and three-dimensional worldreconstruction of stereo-vison using neural networks[J].International Journalof SystemsScience,2001,32(9):1155-1159.
[5]葛动元,姚锡凡,向文江.嵌入正交权值神经网络在摄像机内外参数标定中的应用[J].光学精密工程,2011,19(11):2782-2790.
[6]刘小娟,李学军,王文韫,伍济钢.基于神经网络的虚拟靶标大视场双目相机标定技术[J].光学技术,2017,43(04):314-318。
发明内容
本发明的目的是提供一种基于改进遗传算法和神经网络的双目远心镜头标定方法,通过该方法不仅能获得优化后的相机内外参数矩阵,还能通过训练好的RBF(径向基)神经网络模型,实现三维重建,即输入左右图像匹配特征点的二维像素坐标,直接得出特征点的三维物体坐标。
具体而言,本发明提供了一种基于改进遗传算法和神经网络的双目远心镜头标定方法,包括以下步骤:
S1:是通过高精密移动平台和双目远心相机同时拍摄获取两组双目远心标定图像;
S2:对获取的标定图像进行图像处理,提取左右标定图像中十字的中心点坐标作为匹配特征点的二维像素坐标;
S3:通过DLT线性方法建立求解映射关系矩阵M的数学模型,求解出M中的11个参数值作为遗传算法的初始种群;
S4:通过改进遗传算法对参数进行优化,使数值更加精确化,同时利用训练好的RBF神经网络对已获取的左右图像中匹配特征点的二维像素坐标和三维物体坐标之间的映射关系进行学习,通过输入左右匹配点的二维像素坐标,直接获得相应匹配点的三维物体坐标,实现三维重建。
进一步的,所述步骤S3具体包括:
在获取匹配特征点的像素坐标后,利用DLT线性方法求解出关系矩阵M,即
利用上述公式K·M=U的最小二乘法M=(KTK)-1KTU,可以求出M矩阵中的11个参数。
进一步的,所述步骤S4具体包括:通过改进遗传算法对参数进行优化,使数值更加精确化,改进的遗传算法是通过排序号的自适应方法,针对改进遗传算法设置目标函数为
其中xk为提取的特征点坐标,x'k为特征点反投影的坐标;
个体适应度函数F(x)为目标函数的倒数;
改进后的交叉变异公式为:
其中N1代表父代适应度值中较大者的排序号,N2为平均适应度值的排序号,N3为最大适应度值的排序号;
同时利用设置好的RBF神经网络模型对已获取的左右图像中匹配特征点的二维像素坐标和三维物体坐标之间的映射关系进行学习,通过输入左右匹配点的二维像素坐标,直接获得相应匹配点的三维物体坐标,实现三维重建。
与现有技术相比,本发明的有益技术效果:
本发明的一种基于改进遗传算法和神经网络的双目远心镜头标定方法,通过改进的遗传算法,可以获得更加精确的参数值,使相机标定更加准确;通过RBF(径向基)神经网络方法,可以不用再考虑远心镜头的放大倍数,变形因子以及两相机之间的位置关系,可以在短时间内实现高精度、自动化形式的相机标定。
说明书附图
图1本发明方法的流程图;
图2标定图像;
图3 DLT方法的左图像特征点反投影误差;
图4 DLT方法的右图像特征点反投影误差;
图5改进遗传算法的左图像特征点反投影误差;
图6改进遗传算法的右图像特征点反投影误差;
图7特征点三维重建误差图。
具体实施方式
实施例
如图1所示,一种基于改进遗传算法和神经网络的双目远心镜头标定方法,包括:
通过微小移动的高精密移动平台和双目远心相机同时拍摄获取两组双目远心标定图像,在通过对获取的标定图像进行图像处理后,提取左右标定图像中十字的中心点坐标作为匹配特征点的二维像素坐标。利用传统的DLT(Direct Linear Transform)线性方法,建立求解映射关系矩阵M的数学模型,求解出M中的11个参数值作为遗传算法的初始种群。通过应用改进的遗传算法,对参数进行优化,使数值更加精确化。同时利用Matlab中的RBF(径向基)神经网络对已获取的左右图像中匹配特征点的二维像素坐标和三维物体坐标之间的映射关系进行学习(训练集的三维物体坐标是通过三坐标测量仪获取),设置输入集P为特征点的二维像素坐标,输出集T为特征点的三维物体坐标,设置RBF网络模型的均方误差目标为1×10-7,径向基的扩展速度SPREED设置为0.2。训练结束后通过输入左右匹配点的二维像素坐标,直接获得相应匹配点的三维物体坐标,实现三维重建。
本实施例的方法具体如下:
本实施例所用仪器包括三坐标测量机一台(测量范围为:800mm×700mm×700mm);型号为TCPV1-056-110的远心镜头2个,定制十字标靶1个;以及远心相机固定支架,高精密移动平台,电脑显示器等设备。利用微小移动的高精密平台,在获得Z=0平面的第一组左右两副标靶图像后,平台沿Z轴移动0.5mm后,拍摄第二组标靶图像。标靶图像如图2所示。
对获取的标靶图像进行图像处理后,利用模板匹配的方法找到每个十字中心的像素坐标值,即为特征点的二维像素坐标。在获取匹配特征点的像素坐标后,利用DLT(DirectLinear Transform)线性方法求解出关系矩阵M,即
利用上述公式K·M=U的最小二乘法M=(KTK)-1KTU,可以求出M矩阵中的11个参数。
利用线性DLT方法求出M矩阵后,对获取的左右图像匹配点进行反投影,其误差值如图3和4所示,左图像中的特征点反投影最高误差在0.7个像素值左右,右图像中的特征点反投影误差均在0.5个像素值以内。
之后的遗传算法优化和RBF(径向基)神经网络实现三维重建可以同时进行。改进的遗传算法的运行步骤如下:
Step2:保存最优个体。将适应度最大个体作为最优解,剔除适应度差的个体。
Step3:遗传算法的终止条件是迭代数到了最大迭代次数Gmax,即迭代数G>Gmax。
Step4:交叉运算。公式为:Pc1和Pc2分别是高低交叉概率。N1代表父代适应度值中较大者的排序号,N2为平均适应度值的排序号,N3为最大适应度值的排序号。选择好Pc后,假设随机两个不同的父个体θ1和θ2,则两个新个体求解如下公式:
Step6:转向Step1。
RBF神经网络的训练模型利用工具箱设置。训练样本输入集为上文获取的左右图像十字中心坐标(U1,V1)T和(U2,V2)T),输出集为相应点的三维物体坐标((Wx,Wy,Wz)T),在训练结束后,利用测量区域内的随机匹配点来验证模型的精确性。
利用改进遗传算法,对参数优化后,得出更加精确的M矩阵,对左右图像特征匹配点进行反投影误差,其误差值如图5和6所示,左图像中的特征点反投影误差和右图像中的特征点反投影误差均在0.2个像素值以内。可以看出,基于改进遗传算法进行相机参数标定的结果,精度更加准确。其优化迭代时间在15分钟。在对参数优化的同时,可利用RBF神经网络,通过设置好的最优训练模型,学习左右图像匹配点的二维像素坐标和三维物体坐标的映射关系,输入左右图像特征点的二位像素坐标,实时得到三维物体坐标。改进遗传算法参数标定与神经网络实现实时三维重建同时进行,方案时间可大幅度减少。图7为特征点的三维重建投影误差图,三坐标的整体误差都在1μm以内,完全符合工业要求的相机标定误差范围。
选取样本之外的5个测量区域内的随机匹配特征点坐标,(表1),随机匹配的特征点重建误差值也在10μm以内,符合工业应用的标准。
表1随机匹配的特征点重建误差
Claims (3)
1.基于改进遗传算法和神经网络的双目远心镜头标定方法,其特征在于,包括以下步骤:
S1:是通过高精密移动平台和双目远心相机同时拍摄获取两组双目远心标定图像;
S2:对获取的标定图像进行图像处理,提取左右标定图像中十字的中心点坐标作为匹配特征点的二维像素坐标;
S3:通过DLT线性方法建立求解映射关系矩阵M的数学模型,求解出M中的11个参数值作为遗传算法的初始种群;
S4:通过改进遗传算法对参数进行优化,使数值更加精确化,同时利用训练好的RBF神经网络对已获取的左右图像中匹配特征点的二维像素坐标和三维物体坐标之间的映射关系进行学习,通过输入左右匹配点的二维像素坐标,直接获得相应匹配点的三维物体坐标,实现三维重建。
3.根据权利要求1所述的方法,其特征在于,所述步骤S4具体包括:通过改进遗传算法对参数进行优化,使数值更加精确化,改进的遗传算法是通过排序号的自适应方法,针对改进遗传算法设置目标函数为
其中xk为提取的特征点坐标,x'k为特征点反投影的坐标;
个体适应度函数F(x)为目标函数的倒数;
改进后的交叉变异公式为:
其中N1代表父代适应度值中较大者的排序号,N2为平均适应度值的排序号,N3为最大适应度值的排序号;
同时利用训练好的RBF神经网络对已获取的左右图像中匹配特征点的二维像素坐标和三维物体坐标之间的映射关系进行学习,通过输入左右匹配点的二维像素坐标,直接获得相应匹配点的三维物体坐标,实现三维重建。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010874789.9A CN112102414A (zh) | 2020-08-27 | 2020-08-27 | 基于改进遗传算法和神经网络的双目远心镜头标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010874789.9A CN112102414A (zh) | 2020-08-27 | 2020-08-27 | 基于改进遗传算法和神经网络的双目远心镜头标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112102414A true CN112102414A (zh) | 2020-12-18 |
Family
ID=73757917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010874789.9A Pending CN112102414A (zh) | 2020-08-27 | 2020-08-27 | 基于改进遗传算法和神经网络的双目远心镜头标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112102414A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160325A (zh) * | 2021-04-01 | 2021-07-23 | 长春博立电子科技有限公司 | 基于进化算法的多摄像机高精度自动标定方法 |
CN113403198A (zh) * | 2021-05-10 | 2021-09-17 | 华南理工大学 | 一种多目复合单细胞微操作系统及控制方法 |
CN114494455A (zh) * | 2022-01-07 | 2022-05-13 | 西北工业大学 | 一种大视角下的位移高精度测量方法 |
CN116883516A (zh) * | 2023-09-07 | 2023-10-13 | 西南科技大学 | 相机参数标定方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101629806A (zh) * | 2009-06-22 | 2010-01-20 | 哈尔滨工程大学 | 结合激光发射器的非线性ccd三维定位装置及定位方法 |
CN103871068A (zh) * | 2014-03-31 | 2014-06-18 | 河海大学常州校区 | 一种基于遗传算法的高精度标定方法 |
CN106097322A (zh) * | 2016-06-03 | 2016-11-09 | 江苏大学 | 一种基于神经网络的视觉系统标定方法 |
WO2018153374A1 (zh) * | 2017-02-27 | 2018-08-30 | 安徽华米信息科技有限公司 | 相机标定 |
CN109448061A (zh) * | 2018-10-09 | 2019-03-08 | 西北工业大学 | 一种无需摄像机标定的水下双目视觉定位方法 |
US20190164312A1 (en) * | 2017-11-29 | 2019-05-30 | Adobe Inc. | Neural network-based camera calibration |
CN110230979A (zh) * | 2019-04-15 | 2019-09-13 | 深圳市易尚展示股份有限公司 | 一种立体标靶及其三维彩色数字化系统标定方法 |
CN111080714A (zh) * | 2019-12-13 | 2020-04-28 | 太原理工大学 | 一种基于三维重建的平行式双目相机标定方法 |
-
2020
- 2020-08-27 CN CN202010874789.9A patent/CN112102414A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101629806A (zh) * | 2009-06-22 | 2010-01-20 | 哈尔滨工程大学 | 结合激光发射器的非线性ccd三维定位装置及定位方法 |
CN103871068A (zh) * | 2014-03-31 | 2014-06-18 | 河海大学常州校区 | 一种基于遗传算法的高精度标定方法 |
CN106097322A (zh) * | 2016-06-03 | 2016-11-09 | 江苏大学 | 一种基于神经网络的视觉系统标定方法 |
WO2018153374A1 (zh) * | 2017-02-27 | 2018-08-30 | 安徽华米信息科技有限公司 | 相机标定 |
US20190164312A1 (en) * | 2017-11-29 | 2019-05-30 | Adobe Inc. | Neural network-based camera calibration |
CN109448061A (zh) * | 2018-10-09 | 2019-03-08 | 西北工业大学 | 一种无需摄像机标定的水下双目视觉定位方法 |
CN110230979A (zh) * | 2019-04-15 | 2019-09-13 | 深圳市易尚展示股份有限公司 | 一种立体标靶及其三维彩色数字化系统标定方法 |
CN111080714A (zh) * | 2019-12-13 | 2020-04-28 | 太原理工大学 | 一种基于三维重建的平行式双目相机标定方法 |
Non-Patent Citations (4)
Title |
---|
WAN-YU LIU;: "A camera calibration method based on neural network optimized by genetic algorithm", 2007 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN AND CYBERNETICS * |
刘金颂;原思聪;江祥奎;段志善;: "基于PSO和LSSVM回归的摄像机标定", 光电工程, no. 05 * |
周东凯;李刚;王学琨;: "基于PSO-ELM的双目视觉摄像机标定", 广西大学学报(自然科学版), no. 06 * |
葛动元;姚锡凡;向文江;: "嵌入正交权值神经网络在摄像机内外参数标定中的应用", 光学精密工程, no. 11 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160325A (zh) * | 2021-04-01 | 2021-07-23 | 长春博立电子科技有限公司 | 基于进化算法的多摄像机高精度自动标定方法 |
CN113160325B (zh) * | 2021-04-01 | 2022-10-11 | 长春博立电子科技有限公司 | 基于进化算法的多摄像机高精度自动标定方法 |
CN113403198A (zh) * | 2021-05-10 | 2021-09-17 | 华南理工大学 | 一种多目复合单细胞微操作系统及控制方法 |
CN114494455A (zh) * | 2022-01-07 | 2022-05-13 | 西北工业大学 | 一种大视角下的位移高精度测量方法 |
CN114494455B (zh) * | 2022-01-07 | 2024-04-05 | 西北工业大学 | 一种大视角下的位移高精度测量方法 |
CN116883516A (zh) * | 2023-09-07 | 2023-10-13 | 西南科技大学 | 相机参数标定方法及装置 |
CN116883516B (zh) * | 2023-09-07 | 2023-11-24 | 西南科技大学 | 相机参数标定方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112102414A (zh) | 基于改进遗传算法和神经网络的双目远心镜头标定方法 | |
Jiang et al. | Gesture recognition based on binocular vision | |
CN111089569B (zh) | 一种基于单目视觉的大型箱体测量方法 | |
CN107953329B (zh) | 物体识别和姿态估计方法、装置及机械臂抓取系统 | |
CN110260786B (zh) | 一种基于外部跟踪的机器人视觉测量系统及其标定方法 | |
CN106097322A (zh) | 一种基于神经网络的视觉系统标定方法 | |
CN107545591B (zh) | 一种基于六点触点法的机器人手眼标定方法 | |
CN110443879B (zh) | 一种基于神经网络的透视误差补偿方法 | |
WO2018201677A1 (zh) | 基于光束平差的远心镜头三维成像系统的标定方法及装置 | |
JPH0818848A (ja) | カメラシステムおよび歪み除去方法 | |
CN112329726B (zh) | 人脸识别方法及装置 | |
CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
CN114359405A (zh) | 一种离轴沙姆3d线激光相机的标定方法 | |
CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
CN111429571B (zh) | 一种基于时空图像信息联合相关的快速立体匹配方法 | |
CN114001651B (zh) | 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法 | |
Yao et al. | Research of camera calibration based on genetic algorithm BP neural network | |
CN111028280A (zh) | 井字结构光相机系统及进行目标有尺度三维重建的方法 | |
CN112381721A (zh) | 一种基于双目视觉的人脸三维重建方法 | |
CN116862984A (zh) | 一种相机的空间位姿估计方法 | |
Liu et al. | A method of camera calibration based on Kriging interpolation | |
CN110428457A (zh) | 一种视觉定位中的点集仿射变换算法 | |
CN111612071B (zh) | 一种从曲面零件阴影图生成深度图的深度学习方法 | |
Zhang et al. | Modeling of binocular vision system for 3D reconstruction with improved genetic algorithms | |
CN112837366A (zh) | 基于双目相机和卷积神经网络的目标识别及定位的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |