CN115113170A - 一种基于室内特征退化环境的激光雷达边缘特征预测方法 - Google Patents
一种基于室内特征退化环境的激光雷达边缘特征预测方法 Download PDFInfo
- Publication number
- CN115113170A CN115113170A CN202210859012.4A CN202210859012A CN115113170A CN 115113170 A CN115113170 A CN 115113170A CN 202210859012 A CN202210859012 A CN 202210859012A CN 115113170 A CN115113170 A CN 115113170A
- Authority
- CN
- China
- Prior art keywords
- feature
- points
- plane
- indoor
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/383—Indoor data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开一种室内特征退化环境下的激光雷达边缘特征预测方法,应用于室此环境下三维高精度同时定位与构图领域,针对现有技术构图与定位建图效果在室内特征退化环境下存在特征退化问题。本发明根据原始激光点云的曲率值大小提取边缘特征和平面特征;然后,根据环境的结构信息将提取的平面特征分为面特征点、地面相似特征点与非地面特征点;其次,本发明运用基于欧式聚类生长的点云分割方法将此三类平面特征点进一步分割,并用随机抽样一致方法以直线模型去拟合这些被分割的三维点云,进而运用拟合的直线相交于点的方式预测出虚拟边缘点;最后,将这些预测得到虚拟边缘特征点与基于曲率的边缘特征点合并,并作为最终的边缘特征。
Description
技术领域
本发明属于室内环境三维地图测绘领域,特别涉及一种室内特征退化环境下的三维高精度同时定位与构图技术。
背景技术
同时定位与建图技术(SLAM)在自动驾驶、机器人测量和地图布局重建等领域发挥着重要作用。如今,许多SLAM算法使用相机和激光雷达作为主要传感器单元。与相机相比,激光雷达具有更高的鲁棒性和更远距离的检测能力。随着自动驾驶的发展,激光雷达SLAM被广泛研究和应用(Hesch,J.A.;Mirzaei,F.M.;Mariottini,G.L.;Roumeliotis,S.I.;
Alaser-aided inertial navigation system(L-INS)for human localizationin unknown indoor environments.In Proceedings of 2010IEEE InternationalConference on Robotics and Automation(ICRA),Anchorage,AK,USA,3-7May 2010;pp.5376–5382.)。
通常,激光雷达SLAM框架包括许多常见步骤,例如点云匹配、激光雷达前端里程计、后端非线性优化、回环检测、地图构建等。其中,点云匹配是最重要的步骤之一,因为前端里程计精度直接取决于点云匹配的质量。根据点云匹配策略,激光雷达SLAM算法可分为两类。第一类称为直接匹配方法,第二类称为基于特征的匹配方法。对于前者,将在原始点直接建立匹配模型。在论文(Low,K.L.;Linear least-squares optimization for point-to-plane ICP surface registration.Department of Computer Science,Chapel Hill,NCSU,USA,Tech.Rep.TR04-004,2004.)中,作者建立了迭代最近点(ICP)匹配模型,并对两个相邻帧的近点进行匹配,以估计激光雷达的最佳位姿状态。ICP匹配精度高,其原因在于运用所有点进行匹配。为了进一步提高匹配精度,研究人员基于ICP提出了一种改进的匹配模型,即点线PL-ICP模型(Censi,A.;An ICP variant using a point-to-line metric.InProceedings of 2008IEEE International Conference on Robotics and Automation(ICRA),Pasadena,CA,USA,19-23May 2008;pp.19-25.)。在PL-ICP中,作者提出了点到线匹配模型。实验结果表明,PL-ICP比ICP具有更高的准确度。然而,基于ICP类的方法耗时长,易受噪声影响,难以实时构建地图。
与直接点匹配方法不同,基于特征的匹配方法通过从原始点提取的特征进行匹配。由于特征点能够很好地表示场景的轮廓且数量较少,因此实时性大大提高。使用特征匹配方法的一个代表性算法是LOAM(Ji,Z.;Singh,S.;Low-drift and Real-time LiDAROdometry and Mapping.Autonomous Robots.2017,41,401-416.)。在LOAM中,特征点以曲率值大小分为两类,即平面特征点和边缘特征点。平面与边缘特征点的匹配过程分别以点对面和点对线的方式进行。实验表明,LOAM具有很好的实时性。为了在保持实时性能的同时获得更高的定位精度,另外一种激光雷达里程建图框架LeGO LOAM被提出(Shan,T.;Englot,B.;LeGO-LOAM:Lightweight and ground-optimized LiDAR odometry andmapping on variable terrain.In Proceedings of 2018IEEE/RSJ InternationalConference on Intelligent Robots and Systems(IROS),Madrid,Spain,1-5Oct 2018;pp.4758-4765.)。Lego loam的作者通过采用两步Levenberg-Marquardt(Marquardt,D.W.;An algorithm for least-squares estimation of nonlinear parameters.Journal ofthe society for Industrial and Applied Mathematics.1963,11,431-441.)优化方法改进了特征点匹配模型,并在后端添加了图优化以矫正激光雷达的全局位姿。实验表明,LeGO LOAM的地图重建精度优于LOAM。
值得注意的是,上述基于特征匹配的SLAM算法仅适用于机械旋转式激光雷达,由于扫描模型的差异,无法直接使用于小视场角固态激光雷达。为了将LOAM算法集成到固态激光雷达中,一种高精度激光雷达算法Livox LOAM被提出(Lin,J.;Zhang,F.;Loam livox:Afast,robust,high-precision LiDAR odometry and mapping package for LiDARs ofsmall FoV.In Proccedings of 2020IEEE International Conference on Robotics andAutomation(ICRA),Paris,France,31May-31 Aug 2020;pp.3126-3131.),Livox LOAM改变LOAM的特征匹配模式,通过去除不同扫描线上点匹配约束使得特征匹配模型可用于固态式激光雷达。此外,作者还提出了一种新的离群点过滤方法,Livox LOAM的构图结果相比于LOAM有着更高的场景细节表示性。
然而,对于室内特征退化环境(如长走廊、室内大厅)中的地图测绘应用,由于此类环境中的边缘特征重复性高且不明显,特征提取结果会出现退化现象(Lin,J.;Zhang,F.;Afast,complete,point cloud based loop closure for lidar odometry andmapping.arXiv.org,e-Print Arch.2019.)。此外,固态激光雷达的视场角在此环境中也受到限制。因此,在这种场景中,Livox LOAM的定位与绘图精度降低。
发明内容
为解决上述技术问题,本发明提出一种基于室内特征退化环境的激光雷达边缘特征预测方法,用于室内特征退化环境的地图三维重构,能有效地解决此环境下的边缘特征问题,提升边缘特征的数量与质量。
本发明采用的技术方案为:一种基于室内特征退化环境的激光雷达边缘特征预测方法,包括:
S1、通过激光雷达采集室内特征退化环境数据;
S4、根据步骤S3分类得到的三类平面点,得到室内特征退化环境对应的虚拟边缘特征点;
本发明的有益效果:本发明首先根据原始激光点云的曲率值大小提取边缘特征和平面特征;然后,根据环境的结构信息将提取的平面特征分为三类,分别为地面特征点、地面相似特征点与非地面特征点;基于此三类特征点,本发明进一步提出了一种边缘特征预测方法来预测结构环境的虚拟边缘特征点,该方法运用基于欧式聚类生长的点云分割方法将此三类平面特征点进一步分割,并用随机抽样一致方法以直线模型去拟合这些被分割的三维点云,最后运用拟合的直线相交于点的方式预测出虚拟边缘点;最后,将这些预测得到虚拟边缘特征点与基于曲率的边缘特征点合并作为最终的边缘特征;本发明可以提高基于曲率的边缘特征提取性能,提升对小视场固体激光雷达在长走廊、室内大厅、天台等边缘特征不明显的室内环境下的同时定位与构图精度,特别是减少重力方向的定位误差。
附图说明
图1为边缘特征预测方法的程序框图;
图2为具体实施方式中的激光雷达与车载系统;
图3为具体实施方式中的实验场景示意图;
其中,(a)为大型室内走廊实验场景下的视角一光学图像,(b)为大型室内走廊实验场景下的视角二光学图像,(c)为大型室内走廊实验场景下的视角三光学图像,(d)为大型室内走廊实验场景下的视角四光学图像;
图4为具体实施方式中的单帧边缘特征预测方法输出的结果;
其中,(a)为实验场景1采集的单帧激光数据,(b)为实验场景2采集的单帧激光数据,(c)为实验场景3采集的单帧激光数据;
图5为具体实施方式中的边缘特征点在地图重构过程中的多帧累计结果;
图6为具体实施方式中实验场景的同时定位与构图结果;
图7为具体实施方式中激光雷达地图重构结果嵌入实验场景的光学图像对比结果,及其相应的构图细节展示结果。
具体实施方式
本发明的算法流程如图1所示。下面以大型建筑物走廊为实验场景给出本发明的具体实施方式:车载系统搭载固态激光雷达(如图2所)在大型建筑物走廊内匀速行走一圈并回到起始点。本发明将提出的特征预测方法集成到Livox LOAM建图框架中实现同时定位与构图功能(Lin,J.;Zhang,F.;Loam livox:Afast,robust,high-precision LiDARodometry and mapping package for LiDARs of small FoV.In Proccedings of2020IEEE International Conference on Robotics and Automation(ICRA),Paris,France,31May-31 Aug 2020;pp.3126-3131.)。
实验场景光学图像如图3所示,其中(a)-(b)分别为大型建筑物长走廊四个方向的光学图像。具体处理方法详见步骤S1-S5;
步骤S1:当车载系统启动时,激光雷达开始采集数据,车载系统沿走廊行驶一圈回到起始点后停止,结束数据采集。
首先计算F中所有点对应的法向量集合U。对于一个平面点fi∈F(i=1,…,NF),寻找其周围最近的NM个点,本次实验取NM=5,计算此5个点的质心并记为其中NF是集合F中点的个数,NF的值取决于步骤S2平面特征提取方法。那么,的协方差矩阵可以通过下式得到:
上标T表示转置;
通过QR分解求解Σi所对应的特征值和特征向量,则fi所对应的法向量ui∈U为Σi最小特征值对应的特征向量。对于所有点fi∈F(i=1,…,NF),可得到相应的法向量集合U。
在得到法向量集合U后,平面点F将参照法向量方向进行分类。设全局坐标系{G}下的重力向量为表示3*1的矩阵,并且gL为当前雷达坐标系{L}中的重力向量,其中表示三维向量。雷达坐标系下的重力向量gL可通过齐变换矩阵确定:
平面点F将根据其对应的坐标分类至不同子空间,即
其中dζ是子空间间隔,本实施例中取值为0.2m,σζ是子空间宽度,本实施例中取值为0.1m。fi(a)是向量fi的第a个值,Nζ是X轴和Y轴子空间的最大数量,本实施例中Nζ=150。和的中心距离和(例如,子空间的中心距离为dζ),n=1,…,Nζ。
将F中的点分类到不同的子空间后,将分别对每个子空间中的点云进行分割。在此,使用基于距离的区域生长分割方法。此方法可用于分割一个点云并获得m个点云子集合ψ(m)={δ1,δ2,…,δm}(m取决于区域生长分割方法),其中δi,i=1,…,m是ψ(m)中的第i个点云集合。假设区域聚类生长方法中输入的点云集合为Pin,对于点pj,pi∈Pin,其具体分割标准如下:
·条件1:||pj-pi||<dGR。
·条件2:||uj×ui||<du。
其中,dGR和du是区域生长分割方法的固定参数,本实施例中分别取值为0.5m与0.3,uj和ui是对应于pj和pi的法向量,运算符×是叉积。如果同时满足上述三个条件,pj与pi属于同一个集合。
此时对于每一个子空间,有m个点云集合δi,i=1,…,m,运用RANSANC分别对这m个点云进行直线拟合,可得到对应的m条直线集合ηi,i=1,…,m。用此m条直线集合在三维空间中两两相交于一点,得到此子空间的虚拟边缘特征点。
为了验证边缘特征预测方法的有效性,本发明将提取到的边缘特征点E替代LivoxLOAM建图算法中的边缘特征点进行长走廊地图重构过程。最终边缘特征点在地图重构过程中的多帧累计构图结果如图5所示,其中虚线箭头所指向的是边缘特征点的多帧累计结果,可以看出其对走廊轮廓有较好的表述性。同时实验场景的建图结果如图6所示,通过回环误差发现,其定位和建图结果有着较高的精度。最后,将建图结果嵌入实际实验场景的光学俯视图进行对比,并展示了具体的构图细节,如图7所示。实验结果表明,本发明在长走廊环境下有着较高的地图重构性能,并提供高分辨率的三维建筑布局细节。
本发明采用的激光雷达为大疆Livox horizon,其检测范围为60m,角度分辨率为0.05°,距离分别率为0.02m,激光雷达视场角为81.7°(水平)×25.1°(垂直)。本次实验中设置激光雷达坐标系正前方为x轴,上方为z轴,左方为y轴。
在本发明中,考虑了对于室内特征较少的环境(如长走廊,天台等),激光雷达特征提取效果存在退化的情况(Hesch,J.A.;Mirzaei,F.M.;Mariottini,G.L.;Roumeliotis,S.I.;Alaser-aided inertial navigation system(L-INS)for human localization inunknown indoor environments.In Proceedings of 2010IEEE InternationalConference on Robotics and Automation(ICRA),Anchorage,AK,USA,3-7May 2010;pp.5376–5382.),使得此环境下的同时定位与构图效果变差。本发明提出的特征退化室内环境的激光雷达边缘特征预测方法,能通过环境的结构特征预测出更多的虚拟特征点。实验结果表明,该算法能够高精度地重建类似于长走廊,天台等特征退化室内环境。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (6)
4.根据权利要求3所述的一种基于室内特征退化环境的激光雷达边缘特征预测方法,其特征在于,步骤S31具体实现过程为:
对于平面特征点云F中的当前平面特征点,寻找其周围最近的NM个点,并计算这NM个点的质心,得到质心的协方差矩阵;
通过QR分解求解质心的协方差矩阵对应的特征值和特征向量;
得到当前平面特征点对应的法向量为其质心的协方差矩阵最小特征值对应的特征向量;
根据平面特征点云F中所有平面特征点的特征向量,得到对应的法向量集合U。
6.根据权利要求5所述的一种基于室内特征退化环境的激光雷达边缘特征预测方法,其特征在于,步骤S43采用基于距离的区域生长分割方法对每个子空间中的点云进行分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210859012.4A CN115113170A (zh) | 2022-07-21 | 2022-07-21 | 一种基于室内特征退化环境的激光雷达边缘特征预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210859012.4A CN115113170A (zh) | 2022-07-21 | 2022-07-21 | 一种基于室内特征退化环境的激光雷达边缘特征预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115113170A true CN115113170A (zh) | 2022-09-27 |
Family
ID=83334663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210859012.4A Pending CN115113170A (zh) | 2022-07-21 | 2022-07-21 | 一种基于室内特征退化环境的激光雷达边缘特征预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115113170A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117789198A (zh) * | 2024-02-28 | 2024-03-29 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波成像雷达实现点云退化检测的方法 |
-
2022
- 2022-07-21 CN CN202210859012.4A patent/CN115113170A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117789198A (zh) * | 2024-02-28 | 2024-03-29 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波成像雷达实现点云退化检测的方法 |
CN117789198B (zh) * | 2024-02-28 | 2024-05-14 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波成像雷达实现点云退化检测的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang | Review on LiDAR-based SLAM techniques | |
Rosinol et al. | Incremental visual-inertial 3d mesh generation with structural regularities | |
CN106595659A (zh) | 城市复杂环境下多无人机视觉slam的地图融合方法 | |
CN112634451A (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
Ji et al. | Lloam: Lidar odometry and mapping with loop-closure detection based correction | |
Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
CN111932614B (zh) | 一种基于聚类中心特征的激光雷达即时定位与建图方法 | |
CN113791400A (zh) | 一种基于激光雷达的楼梯参数自主检测方法 | |
CN116359905A (zh) | 基于4d毫米波雷达的位姿图slam计算方法及系统 | |
CN113741503A (zh) | 一种自主定位式无人机及其室内路径自主规划方法 | |
CN113487631B (zh) | 基于lego-loam的可调式大角度探测感知及控制方法 | |
CN115113170A (zh) | 一种基于室内特征退化环境的激光雷达边缘特征预测方法 | |
Majdik et al. | Micro air vehicle localization and position tracking from textured 3d cadastral models | |
CN117029870A (zh) | 一种基于路面点云的激光里程计 | |
CN112945233A (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
Chen et al. | Amobile system combining laser scanners and cameras for urban spatial objects extraction | |
He et al. | A line-based spectral clustering method for efficient planar structure extraction from lidar data | |
CN111239761B (zh) | 一种用于室内实时建立二维地图的方法 | |
CN114463396A (zh) | 一种利用平面形状和拓扑图投票的点云配准方法 | |
Zhao et al. | Self-localization using point cloud matching at the object level in outdoor environment | |
CN113554705A (zh) | 一种变化场景下的激光雷达鲁棒定位方法 | |
Youji et al. | A SLAM method based on LOAM for ground vehicles in the flat ground | |
CN112731335A (zh) | 一种基于全区域激光扫描的多无人机协作定位方法 | |
Escourrou et al. | Ndt localization with 2d vector maps and filtered lidar scans | |
Yang et al. | Real-Time Ground-Plane Refined LiDAR SLAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |