CN114429500A - 一种基于点线特征融合的视觉惯性定位方法 - Google Patents
一种基于点线特征融合的视觉惯性定位方法 Download PDFInfo
- Publication number
- CN114429500A CN114429500A CN202111526010.5A CN202111526010A CN114429500A CN 114429500 A CN114429500 A CN 114429500A CN 202111526010 A CN202111526010 A CN 202111526010A CN 114429500 A CN114429500 A CN 114429500A
- Authority
- CN
- China
- Prior art keywords
- method based
- dotted line
- positioning method
- feature fusion
- inertial positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000007 visual effect Effects 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 230000010354 integration Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于点线特征融合的视觉惯性定位方法,具体包括如下步骤:步骤1,进行系统初始化,获得初始状态;步骤2,采用滑窗估计的方法对步骤1获得的初始状态进行优化估计;步骤3,对步骤2优化估计的结果进行闭环检测。本发明通过线特征对弱纹理场景进行约束,提高对场景特征的识别度,结合IMU的紧耦合方案使得车辆对自身的定位更加精确,从而为后续轨迹预测等任务提供更有效的保障。
Description
技术领域
本发明属于视觉SLAM、智能驾驶技术领域,涉及一种基于点线特征融合的视觉惯性定位方法。
背景技术
在基于视觉的定位方法中主要分为传统几何方法和基于学习的方法,然后不管在性能和鲁棒性方面,传统方法在整体上优于基于学习的方法,近些年也出现了多特征融合的方法,如PL-VINS是第一个基于点特征和线特征的实时单目惯性定位方法,该方法基于VINS-Mono,在其的基础上引入了LSD线特征,同时将线特征约束用于后端非线性位姿优化。Wei等人提出了一种新的基于点线特征融合的定位方法,在点特征和线特征提取阶段分别使用FAST角点和FLD线特征检测算法,该方案在位姿估计部分使用了基于滤波的方案,在没有回环检测的测试中高于其他方案,但是对于较长距离的累计误差还存在一定缺陷。PL-SLAM该方法是基于ORB-SLAM,在其基础上增添了LSD-LBD线特征,但是相比于其他主流方案没有加入IMU模块,相比之下在位姿估计的精度上会有影响。PL-VIO基于VINS-Mono,提出了最小化成本函数来优化状态,但是此方案还达不到实时性的要求,对于实时的位姿估计还存在缺陷。
在实际的自动驾驶中,往往存在弱纹理和运动模糊场景,为了有效地确保在复杂场景中自身定位的精度,现有的基于点特征和线特征融合的策略在视觉定位的方法中还存在弱纹理环境中存在对场景特征提取不足的问题,且大多数方案在实时性方面还不能满足实际需求,甚至有的方案缺少闭环检测策略,这将无法对累积误差进行消除。
发明内容
本发明的目的是提供一种基于点线特征融合的视觉惯性定位方法,该方法通过线特征对弱纹理场景进行约束,提高对场景特征的识别度,结合IMU的紧耦合方案使得车辆对自身的定位更加精确,从而为后续轨迹预测等任务提供更有效的保障。
本发明所采用的技术方案是,一种基于点线特征融合的视觉惯性定位方法,具体包括如下步骤:
步骤1,进行系统初始化,获得初始状态;
步骤2,采用滑窗估计的方法对步骤1获得的初始状态进行优化估计;
步骤3,对步骤2优化估计的结果进行闭环检测。
本发明的特点还在于:
步骤1中对系统进行初始化时,包括视觉特征跟踪预处理与IMU预积分处理两部分,完成视觉预处理与IMU预积分处理后进行时间戳的对齐,从而完成系统初始化,获得初始状态。
视觉特征跟踪预处理的具体过程为:首先对图像帧进行均衡化预处理,然后基于已有点的特征基础上增加线特征。
增加线特征的方式包括FAST角点检测算法和CannyLines特征检测算法。
IMU预积分处理时,将第k帧和第k+1帧之间的所有IMU进行积分,得到第k+1帧的位置、速度和旋转信息,然后通过中值积分法得到离散形式的PVQ增量误差的雅可比矩阵J和协方差矩阵。
雅可比矩阵J用于带入到如下公式(1)~(3)中求得传播状态值:
其中,ba为加速度的零偏,bw为陀螺仪的零偏,α、β、γ分别是位置、速度、旋转的预积分量。
步骤2中,滑窗中优化量包括:先验信息、点特征残差信息、线特征残差信息、IMU残差信息及闭环约束信息。
步骤2中,通过如下公式(1)得到最大后验估计:
其中,优化变量依次是先验信息Iprior、IMU残差信息eimu、点特征残差信息epoint、线特征残差信息eline、闭环约束信息eloop。
步骤3中,使用关键帧中的FAST角点进行闭环检测。
步骤3的具体过程为:对最新的关键帧的角点进行重新检测以增加特征点数量,然后使用DBoW方法对当前帧进行闭环判断,通过闭环一致性检测从而获得闭环的候选帧。
本发明的有益效果是:本发明提出基于点线特征融合的视觉惯性定位方法,在特征提取阶段引入FAST角点和改进后的CannyLines算法,将有效地提升特征检测效率,同时在后端滑窗位姿优化中引入线特征约束将有效地提升全局位姿的精度。
附图说明
图1是本发明一种基于点线特征融合的视觉惯性定位方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
为了在弱纹理场景中提高对自身定位的精准性,同时保证系统的实时性,本发明以单目相机和IMU为硬件基础,通过对点特征提取和线特征提取算法进行优化,使用光流跟踪获取特征之间的对应关系,结合IMU信息,从而确保位姿估计的前提,在后端使用多种信息联合优化从而达到位姿估计的精准性,本发明一种基于点线特征融合的视觉惯性定位方法,流程如图1所示:具体包括如下步骤:
步骤1,首先对系统进行初始化以获得一个较好的初始值,从而对后续状态估计提供稳定的初始状态。初始化的过程分为视觉特征跟踪预处理和IMU预积分处理,在这两个部分处理成功后进行时间戳的对齐,然后完成初始化部分。
视觉特征跟踪预处理时,主要分为以下几个步骤:
a)对图像帧进行均衡化预处理,以便特征提取;
b)通过FAST角点算法对图像进行点特征提取,在提取完成后通过对前一帧图像点特征进行光流跟踪,然后对跟踪失败的点和图像边界外的点进行剔除;
c)通过改进后CannyLines算法对图像帧进行线特征提取,我们通过限制CannyLines对线特征的长度阈值,对小于阈值长度的线进行剔除,对大于阈值长度的线进行延长,这样将使得较为明显的线特征更加鲁棒,对于图像帧中区域的线特征的数量进行限制以提高实时性。然后通过关系图策略将线特征与已有的线特征进行匹配,从而获得线特征的跟踪。
以往的点特征提取算法比如Harris算法在一些弱纹理的场景会存在提取信息不足的情况,本部分通过使用FAST角点检测算法,不管在特征点数量和速度上都有着优势,同时在后端回环检测部分更加符合DBoW模型;在线特征提取中通过使用改进的CannyLines算法,该算法在场景信息提取上比LSD和Edlines具有更好的效果。
由于IMU的数据产生频率(100Hz)远高于图像帧产生频率(30Hz),所以在图像帧之间的IMU数据需要进行预处理,本部分则采用预积分形式,通过预积分操作可以将两个图像帧之间的多个IMU数据转换为一个与图像帧在时间戳上对齐的IMU数据,这样在后端位姿估计阶段就可以将IMU数据和图像数据同步处理。
预积分的具体操作为:将第i帧和第i+1帧之间的所有IMU进行积分,可得第i+1帧的位置、速度和旋转信息(PVQ),公式入下:
其中,i和i+1表示相邻两帧,p代表位置,w表示世界坐标系,bi表示在第i帧的当前时刻,表示第i帧和第i+1之间的加速度中值,δt表示两帧之间的时间差,位置、速度和旋转根据运动学公式可以得到后续测量值,旋转这里表示旋转角速度,此处通过四元数的方法计算。
由此可以计算出两帧之间的P、V、Q和零偏的差,公式如下:
其中,α、β、θ为P、V、Q的增量误差,R为图像的旋转,ba,bw是加速度和角速度的零偏,通过此公式可以更新后一时刻IMU量
其中雅可比矩阵通过下面公式更新,雅可比矩阵可用来表示优化中梯度方向,
JK+1=F*JK
协方差矩阵通过下面公式更新,协方差矩阵代表置信度
PK+1=FPKFT+GnGT
雅可比矩阵J用于带入到下面公式用来求得更加精确的位置、速度、旋转的传播状态值。
其中,ba为加速度的零偏,bw为陀螺仪的零偏,α、β、γ分别是位置、速度、旋转的预积分量。
步骤2,在获得初始状态值之后,就可以开始对状态进行优化估计,本部分采用滑窗估计的方案对局部状态进行估计,估计的状态量包括IMU的位置、速度、速度、加速度零偏和陀螺仪零偏,点特征的深度以及线特征空间位置,通过最小化误差函数得到一个最优解,从而得到最优位姿估计。为了降低系统的复杂度,滑动窗口中信息的通过边缘化机制来更新,通过有选择地从窗口中将IMU状态和特征边缘化,同时将边缘化的信息转化为先验,其步骤如下:
a)通过点FAST算法和CannyLines算法得到点特征和线特征的位置信息,然后通过sfm方法得到特征点在三维空间中的表示,然后将需要优化的状态量表示为一个向量,向量的表示如下:
其中,xk包含第k个IMU的位置、方向、速度、加速度零偏、陀螺仪零偏,nk、np、nl分别是滑动窗口中关键帧、特征点、特征线的总数,λ是点特征的逆深度,o表示线在空间中的表示。
b)通过对目标误差函数的最小化,以达到状态量的最优估计,优化的目标函数如下:
其中优化变量依次是先验信息、IMU残差、点特征残差、线特征残差、闭环约束。
c)当滑窗中出现新的关键帧时,会将旧的关键帧剔除,以保持滑窗中关键帧的数量。
步骤3,在本部分中使用关键帧中的FAST角点进行闭环检测,由于前端识别的FAST角点数量对于闭环检测还远远不够,因此会对最新的关键帧的角点进行重新检测以增加特征点数量,然后使用DBoW方法对当前帧进行闭环判断,通过闭环一致性检测从而获得闭环的候选帧。当检测到当前帧与之前的图像帧有闭环时,此时会把之前匹配帧的相关位姿和特征点作为闭环约束加入到后端非线性优化中,然后通过整体优化调整闭环帧之间的位姿关系,根据优化后的相对位姿关系对滑窗内所有帧进行调整以完成重定位,从而逐步调整全局位姿估计,步骤如下:
a)对最新的关键帧使用FAST角点算法提取500个特征点,然后使用DBoW模型进行闭环检测;
b)然后得到闭环帧与当前帧之间的位姿关系即闭环约束信息eloop,然后将该信息加入到步骤2中b)的优化函数中进行优化,以精准化候选帧的位姿;
c)通过调整滑窗内关键帧位姿信息来最小化当前帧与候选帧之间的误差,以完成对滑窗内关键帧的重新定位,其方法也是使用BA法。
Claims (10)
1.一种基于点线特征融合的视觉惯性定位方法,其特征在于:具体包括如下步骤:
步骤1,进行系统初始化,获得初始状态;
步骤2,采用滑窗估计的方法对步骤1获得的初始状态进行优化估计;
步骤3,对步骤2优化估计的结果进行闭环检测。
2.根据权利要求1所述的一种基于点线特征融合的视觉惯性定位方法,其特征在于:所述步骤1中对系统进行初始化时,包括视觉特征跟踪预处理与IMU预积分处理两部分,完成视觉预处理与IMU预积分处理后进行时间戳的对齐,从而完成系统初始化,获得初始状态。
3.根据权利要求2所述的一种基于点线特征融合的视觉惯性定位方法,其特征在于:所述视觉特征跟踪预处理的具体过程为:首先对图像帧进行均衡化预处理,然后基于已有点的特征基础上增加线特征。
4.根据权利要求3所述的一种基于点线特征融合的视觉惯性定位方法,其特征在于:所述增加线特征的方式包括FAST角点检测算法和CannyLines特征检测算法。
5.根据权利要求2所述的一种基于点线特征融合的视觉惯性定位方法,其特征在于:所述IMU预积分处理时,将第k帧和第k+1帧之间的所有IMU进行积分,得到第k+1帧的位置、速度和旋转信息,然后通过中值积分法得到离散形式的PVQ增量误差的雅可比矩阵J和协方差矩阵。
7.根据权利要求1所述的一种基于点线特征融合的视觉惯性定位方法,其特征在于:所述步骤2中,滑窗中的优化量包括:先验信息、点特征残差信息、线特征残差信息、IMU残差信息及闭环约束信息。
9.根据权利要求1所述的一种基于点线特征融合的视觉惯性定位方法,其特征在于:所述步骤3中,使用关键帧中的FAST角点进行闭环检测。
10.根据权利要求9所述的一种基于点线特征融合的视觉惯性定位方法,其特征在于:所述步骤3的具体过程为:对最新的关键帧的角点进行重新检测以增加特征点数量,然后使用DBoW方法对当前帧进行闭环判断,通过闭环一致性检测从而获得闭环的候选帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111526010.5A CN114429500A (zh) | 2021-12-14 | 2021-12-14 | 一种基于点线特征融合的视觉惯性定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111526010.5A CN114429500A (zh) | 2021-12-14 | 2021-12-14 | 一种基于点线特征融合的视觉惯性定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114429500A true CN114429500A (zh) | 2022-05-03 |
Family
ID=81312031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111526010.5A Pending CN114429500A (zh) | 2021-12-14 | 2021-12-14 | 一种基于点线特征融合的视觉惯性定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114429500A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993113A (zh) * | 2019-03-29 | 2019-07-09 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
CN110726406A (zh) * | 2019-06-03 | 2020-01-24 | 北京建筑大学 | 一种改进的非线性优化单目惯导slam的方法 |
CN111595334A (zh) * | 2020-04-30 | 2020-08-28 | 东南大学 | 基于视觉点线特征与imu紧耦合的室内自主定位方法 |
CN112649016A (zh) * | 2020-12-09 | 2021-04-13 | 南昌大学 | 一种基于点线初始化的视觉惯性里程计方法 |
CN112683305A (zh) * | 2020-12-02 | 2021-04-20 | 中国人民解放军国防科技大学 | 一种基于点线特征的视觉-惯性里程计状态估计方法 |
-
2021
- 2021-12-14 CN CN202111526010.5A patent/CN114429500A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993113A (zh) * | 2019-03-29 | 2019-07-09 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
CN110726406A (zh) * | 2019-06-03 | 2020-01-24 | 北京建筑大学 | 一种改进的非线性优化单目惯导slam的方法 |
CN111595334A (zh) * | 2020-04-30 | 2020-08-28 | 东南大学 | 基于视觉点线特征与imu紧耦合的室内自主定位方法 |
CN112683305A (zh) * | 2020-12-02 | 2021-04-20 | 中国人民解放军国防科技大学 | 一种基于点线特征的视觉-惯性里程计状态估计方法 |
CN112649016A (zh) * | 2020-12-09 | 2021-04-13 | 南昌大学 | 一种基于点线初始化的视觉惯性里程计方法 |
Non-Patent Citations (1)
Title |
---|
刘振彬;危双丰;庞帆;师现杰;: "基于单目及惯导的同步定位与建图方案", 测绘科学, no. 09, 16 September 2020 (2020-09-16) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110796010B (zh) | 一种结合光流法和卡尔曼滤波的视频稳像方法 | |
US20230066441A1 (en) | Multi-sensor fusion slam system, multi-sensor fusion method, robot, and medium | |
CN108986037B (zh) | 基于半直接法的单目视觉里程计定位方法及定位系统 | |
CN111739063A (zh) | 一种基于多传感器融合的电力巡检机器人定位方法 | |
CN111024066A (zh) | 一种无人机视觉-惯性融合室内定位方法 | |
WO2021147549A1 (zh) | 闭环检测方法及系统、多传感器融合slam系统及机器人、介质 | |
CN109993113A (zh) | 一种基于rgb-d和imu信息融合的位姿估计方法 | |
CN108682027A (zh) | 基于点、线特征融合的vSLAM实现方法及系统 | |
US12073630B2 (en) | Moving object tracking method and apparatus | |
CN110726406A (zh) | 一种改进的非线性优化单目惯导slam的方法 | |
CN110490900A (zh) | 动态环境下的双目视觉定位方法及系统 | |
CN113108771B (zh) | 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法 | |
CN111354043A (zh) | 一种基于多传感器融合的三维姿态估计方法及装置 | |
CN114001733B (zh) | 一种基于地图的一致性高效视觉惯性定位算法 | |
CN111932674A (zh) | 一种线激光视觉惯性系统的优化方法 | |
CN113436261B (zh) | 一种面向封闭园区自动驾驶的单目视觉惯性定位方法 | |
CN112418288A (zh) | 一种基于gms和运动检测的动态视觉slam方法 | |
CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
CN113503873B (zh) | 一种多传感器融合的视觉定位方法 | |
CN113192140B (zh) | 一种基于点线特征的双目视觉惯性定位方法和系统 | |
CN114964276B (zh) | 一种融合惯导的动态视觉slam方法 | |
CN116242374A (zh) | 一种基于直接法的多传感器融合的slam定位方法 | |
CN114485640A (zh) | 基于点线特征的单目视觉惯性同步定位与建图方法及系统 | |
CN116448100A (zh) | 一种多传感器融合的近岸无人船slam方法 | |
CN115830070A (zh) | 一种牵引变电所巡检机器人红外激光融合定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |