CN109636852A - 一种单目slam初始化方法 - Google Patents

一种单目slam初始化方法 Download PDF

Info

Publication number
CN109636852A
CN109636852A CN201811406491.4A CN201811406491A CN109636852A CN 109636852 A CN109636852 A CN 109636852A CN 201811406491 A CN201811406491 A CN 201811406491A CN 109636852 A CN109636852 A CN 109636852A
Authority
CN
China
Prior art keywords
picture
template
characteristic point
point
template picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811406491.4A
Other languages
English (en)
Inventor
刘盛
张宇翔
徐婧婷
曹轲烨
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201811406491.4A priority Critical patent/CN109636852A/zh
Publication of CN109636852A publication Critical patent/CN109636852A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种单目SLAM初始化方法,通过将模板图片的特征点、相机与模板图片的位姿到配置文件,然后采集含有模板的图片作为第一帧图片,提取第一帧图片的ORB特征点并且与模板图片上的特征点进行匹配,从而计算出单应矩阵,然后将模板图片中定义的已知点利用单应矩阵投影到第一帧图片中,计算第一帧图片相对于模板图片的位姿,最后根据建立的自定义坐标系,计算出模板图片上与第一帧图片匹配的特征点中保留下来的特征点的空间坐标,作为SLAM地图中对应的地图点,完成初始化。本发明提出的快速初始化方法比现存的方法拥有更高的精度和更快的初始化速度,极大的减小初始化的计算代价。

Description

一种单目SLAM初始化方法
技术领域
本发明属于计算机视觉、图像处理技术领域,尤其涉及一种单目SLAM初始化方法。
背景技术
同时定位与地图创建也被称为SLAM(Simultaneous Localization andMapping),简单来说就是机器人在自身位置不确定的情况下,探索静态的未知环境,并且同时建立地图和定位的技术。它的应用平台也十分广泛,从家用的扫地机器人到道路上行驶的无人车,都离不开SLAM技术的支持。由于单目相机廉价的特点,使得单目SLAM的开发非常火热。
单目相机无法获得图像中场景的深度信息,因此单目SLAM有一个初始化的过程来恢复场景,但是这样恢复出来的场景仍然存在一个尺度问题,即不知道场景深度的单位。现有单目SLAM的初始化方法主要都是通过多帧形成视差,然后用三角化的方法初始化,但是这种初始化方法耗时久,并且需要一段平移相机的操作,不适合新手用户使用。目前存在的一些快速初始化的方法大致可分为两类:一类使用先验信息,一类不使用先验信息。不使用先验信息的快速初始化方法不能恢复场景的尺度,建立的地图大多不够准确,并且初始化也不是很快速。相对来说使用先验信息的方法可以得到一个更加好的初始化效果。
现有技术中的单目SLAM初始化普遍存在初始化耗时久,建立地图精度不够高,无法计算场景真实尺度的问题,需要进一步改进。
发明内容
本发明的目的是提供一种单目SLAM初始化方法,克服传统的单目SLAM初始化耗时久,建立地图精度不够高,无法计算场景真实尺度的问题。
为了实现上述目的,本发明技术方案如下:
一种单目SLAM初始化方法,所述单目SLAM初始化方法,包括:
加载模板图片,提取模板图片ORB特征点;
将该模板图片打印出来作为模板,测量模板的实际大小,建立自定义坐标系,利用模板上定义的已知点计算相机与模板图片的位姿,保存模板图片的特征点、相机与模板图片的位姿到配置文件;
读取配置文件,采集含有模板的图片作为第一帧图片,提取第一帧图片的ORB特征点并且与模板图片上的特征点进行匹配,根据匹配结果计算单应矩阵;
剔除特征点匹配中的误匹配点,利用保留下来的特征点再次计算单应矩阵;
将模板图片中定义的已知点利用单应矩阵投影到第一帧图片中,计算第一帧图片相对于模板图片的位姿;
根据建立的自定义坐标系,计算出模板图片上与第一帧图片匹配的特征点中保留下来的特征点的空间坐标,作为SLAM地图中对应的地图点,完成初始化。
进一步地,所述建立自定义坐标系,是以模板中心点为原点,水平向右为X轴,水平向下为Y轴。
进一步地,所述根据建立的自定义坐标系,计算出模板图片上与第一帧图片匹配的特征点中保留下来的特征点的空间坐标,计算公式如下:
其中,x与y分别为特征点的像素坐标,realX、realY与realZ为特征点的空间坐标,col列与row行为模板图片的像素大小,X与Y为打印出来的模板图片实际尺寸的一半。
进一步地,所述剔除特征点匹配中的误匹配点,包括:
利用上一步骤计算出的单应矩阵将模板图片上的特征点投影到第一帧图片上,计算第一帧图片上的特征点与投影过来的特征点之间的误差,误差大于阈值就标记为误匹配点。
进一步地,所述加载模板图片,提取模板图片ORB特征点,还包括:
使用已经标定好的相机内参去矫正特征点的位置;
所述使用已经标定好的相机内参去矫正特征点的位置,包括:
采用如下公式进行径向畸变纠正:
其中,x,y是原始的像素坐标,x'和y'是通过径向畸变参数k1、k2矫正之后的像素坐标,并且r2=x2+y2
采用如下公式进行切向畸变矫正:
其中,x"和y"代表了最终的矫正后的像素坐标,p1和p2是切向畸变矫正参数。
本发明提出的一种单目SLAM初始化方法,通过将模板图片的特征点、相机与模板图片的位姿到配置文件,然后采集含有模板的图片作为第一帧图片,提取第一帧图片的ORB特征点并且与模板图片上的特征点进行匹配,从而计算出单应矩阵,然后将模板图片中定义的已知点利用单应矩阵投影到第一帧图片中,计算第一帧图片相对于模板图片的位姿,最后根据建立的自定义坐标系,计算出模板图片上与第一帧图片匹配的特征点中保留下来的特征点的空间坐标,作为SLAM地图中对应的地图点,完成初始化。本发明提出的快速初始化方法比现存的方法拥有更高的精度和更快的初始化速度,极大的减小初始化的计算代价。精度体现在初始化之后建立的地图点的准确性上,速度体现在耗时上。
附图说明
图1为本发明单目SLAM初始化方法流程图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明,以下实施例不构成对本发明的限定。
图1示出了一种单目SLAM初始化方法的一种实施例,包括:
步骤S1、加载模板图片,提取模板图片ORB特征点。
本实施例事先准备一张模板图片,该模板图片是一张有纹理的已知图片,将该模板图片打印出来作为模板备用。首先提取模板图片ORB特征点,ORB是一种计算速度比较快的特征点计算方法,它采用了FAST角点检测和Brief描述子,并且采用图像金字塔来保持尺度不变性,采用灰度质心法来保持旋转不变性,是一种可实时计算的鲁棒的特征。
提取ORB特征时,首先确定需要提取的特征点的数量,并且将图像分为若干小块,每一小块提取等量的特征点的方式来避免图片某些区域特征点聚集而图片的另外一些区域几乎没有特征点的情况。又考虑到尺度带来的特征点匹配的问题,本实施例采用图像金字塔来解决这个问题,图像金字塔的底层比上层的分辨率高,因此提取的特征理应也多一些。本实施例采用等比数列的方式来分配每一层应该提取的特征点的数量。每一层的特征点数量由公式(1)计算得出:
其中,allocation代表图像金字塔每一层分配到的特征点数目,nfeatures代表事先确定的需要提取的特征点的数量,factor代表图像金字塔的缩放因子,n代表图像金字塔的第几层。
由于相机镜头上的透镜的存在,会使得光线投影到成像平面的过程中会产生畸变。径向畸变和切向畸变是产生误差的两个主要的来源,需要矫正他们。
本实施例所述加载模板图片,提取模板图片ORB特征点,还包括:
使用已经标定好的相机内参去矫正特征点的位置。
本实施例采用如下的公式进行纠正,其中径向畸变纠正采用如下公式:
这里的x,y是原始的像素坐标,x'和y'是通过径向畸变参数k1、k2矫正之后的像素坐标,并且r2=x2+y2
切向畸变矫正使用如下公式:
这里的x"和y"代表了最终的矫正后的像素坐标,p1和p2是切向畸变矫正参数。
其中,径向畸变参数和切向畸变矫正参数是相机内参,这里不再赘述。
步骤S2、将该模板图片打印出来作为模板,测量模板的实际大小,建立自定义坐标系,利用模板上定义的已知点计算相机与模板图片的位姿,保存模板图片的特征点、相机与模板图片的位姿到配置文件。
首先使用测量工具测量打印出来的模板得到模板的实际尺寸,选取模板上的一个点作为原点,定义坐标系,然后定义模板上若干个已知点的3D坐标。例如以模板中心点为原点(0,0,0),水平向右为X轴,水平向下为Y轴。则根据模板的实际尺寸,可得模板矩形边框的四个顶点的3D坐标。又因为已知内存中模板图片的像素大小,因此可以将图像2D坐标(像素坐标)与其3D坐标相对应,使用P3P算法即可获得相机与模板图片的位姿。
以上两步都是初始化预处理过程,在SLAM运行之前提前计算好,因为模板图片的特征点、相机与模板图片的位姿都是固定的,因此将它保存到配置文件,减少每次初始化的计算代价。
步骤S3、读取配置文件,采集含有模板的图片作为第一帧图片,提取第一帧图片的ORB特征点并且与模板图片上的特征点进行匹配,根据匹配结果计算单应矩阵。
读取配置文件,直接恢复模板图片上的关键信息。然后开始SLAM的初始化。采集含有模板的一帧图片,作为第一帧图片,对该图片进行ORB特征的提取。然后将从配置文件中读取的特征点与从当前图片上提取的特征点进行特征匹配。
特征匹配是视觉SLAM中极为关键的一步,宽泛地说,特征匹配解决了SLAM中的数据关联问题,即确定当前看到的路标与之前看到的路标之间的对应关系。特征匹配即比较特征点之间描述子的距离,距离越小表示两个特征越相似,本实施例采用海明距离来确定两个特征之间的距离。
由于模板图片是一个平面,也就是说本实施例是在一个平面上进行初始化,单应矩阵描述了两个平面之间的映射关系,通常用来描述处于共同平面上的一些点在两张图像之间的变换关系。单应矩阵计算方式如下:
假设在图像I1和I2上有一对匹配的特征点p1,p2。设M0(x0,y0,z0)是平面上一个确定的点,P(x,y,z)是平面上任一点,向量n(A,B,C)是平面法向,与平面垂直。得特征点所在平面方程为:
A(x-x0)+B(y-y0)+C(z-z0)=0 (10)
化简得:
Ax+By+Cz+(-Ax0-By0-Cz0)=0 (11)
令(-Ax0-By0-Cz0)=d得:
nTP+d=0 (12)
稍加整理得:
又根据相机归一化平面上的点到平面图像的投影公式:
p=K(RP+t) (14)
可得:
记为H,得p2=Hp1。展开得:
可以看出来H矩阵是一个3*3的矩阵,令h9=1,于是H矩阵存在8个未知数,只要知道4对匹配点即可求解出H矩阵。如果匹配点大于4对则使用SVD分解来求解这个超定方程。
由于特征点的配对未必准确,不准确的匹配会导致计算出来的单应矩阵不准确,因此本实施例采用随机采样一致性(Ransac)算法来迭代求解H矩阵,保留一个响应最好的解。
步骤S4、剔除特征点匹配中的误匹配点,利用保留下来的特征点再次计算单应矩阵。
由于计算出的单应矩阵越准确,算法的精度也就越高,因此这里对单应矩阵进行优化。首先使用第3步中计算出来的单应矩阵去剔除特征点匹配中的误匹配点。
具体方法为将模板图片上的特征点用第3步中计算出来的单应矩阵投影到第一帧图片上,计算第一帧图片上的特征点与投影过来的特征点之间的误差,误差大于阈值就标记为外点(即误匹配点)。剔除特征点匹配中的误匹配点,剩下的特征点也称为内点。
对保留下来的内点再次使用Ransac算法计算单应矩阵,可得到一个高精度的单应矩阵。
步骤S5、将模板图片中定义的已知点利用单应矩阵投影到第一帧图片中,计算第一帧图片相对于模板图片的位姿。
将模板图片上的已知空间坐标的点利用单应矩阵投影到第一帧图片中,利用P3P算法计算得出SLAM初始化第一帧图片相对于模板图片的位姿。
步骤S6、根据建立的自定义坐标系,计算出模板图片上与第一帧图片匹配的特征点中保留下来的特征点的空间坐标,作为SLAM地图中对应的地图点,完成初始化。
本实施例根据事先已经定义的坐标系,并且初始化是在模板所在平面上进行的,因此可以计算出模板图片上与第一帧图片匹配的特征点中保留下来的特征点的空间坐标,作为SLAM地图中对应的地图点。本实施例在自定义坐标系为以模板图片的中心为原点,水平向右为X轴,水平向下为Y轴,则计算公式如下:
其中x与y分别为特征点的像素坐标,realX、realY与realZ为特征点的空间坐标,col列与row行为模板图片的像素大小,X与Y为打印出来的模板图片实际尺寸的一半。
容易理解的是,如果建立的自定义坐标系不同,例如可以一个顶点为原点来建立坐标系,则公式17会不同,该公式可以根据数学几何原理进行推导,这里不再赘述。
至此,本技术方案获得了相机与模板图片的位姿、第一帧图片相对于模板图片的位姿以及地图点,完成了单目相机SLAM初始化。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种单目SLAM初始化方法,其特征在于,所述单目SLAM初始化方法,包括:
加载模板图片,提取模板图片ORB特征点;
将该模板图片打印出来作为模板,测量模板的实际大小,建立自定义坐标系,利用模板上定义的已知点计算相机与模板图片的位姿,保存模板图片的特征点、相机与模板图片的位姿到配置文件;
读取配置文件,采集含有模板的图片作为第一帧图片,提取第一帧图片的ORB特征点并且与模板图片上的特征点进行匹配,根据匹配结果计算单应矩阵;
剔除特征点匹配中的误匹配点,利用保留下来的特征点再次计算单应矩阵;
将模板图片中定义的已知点利用单应矩阵投影到第一帧图片中,计算第一帧图片相对于模板图片的位姿;
根据建立的自定义坐标系,计算出模板图片上与第一帧图片匹配的特征点中保留下来的特征点的空间坐标,作为SLAM地图中对应的地图点,完成初始化。
2.如权利要求1所述的单目SLAM初始化方法,其特征在于,所述建立自定义坐标系,是以模板中心点为原点,水平向右为X轴,水平向下为Y轴。
3.如权利要求2所述的单目SLAM初始化方法,其特征在于,所述根据建立的自定义坐标系,计算出模板图片上与第一帧图片匹配的特征点中保留下来的特征点的空间坐标,计算公式如下:
其中,x与y分别为特征点的像素坐标,realX、realY与realZ为特征点的空间坐标,col列与row行为模板图片的像素大小,X与Y为打印出来的模板图片实际尺寸的一半。
4.如权利要求1所述的单目SLAM初始化方法,其特征在于,所述剔除特征点匹配中的误匹配点,包括:
利用上一步骤计算出的单应矩阵将模板图片上的特征点投影到第一帧图片上,计算第一帧图片上的特征点与投影过来的特征点之间的误差,误差大于阈值就标记为误匹配点。
5.如权利要求1所述的单目SLAM初始化方法,其特征在于,所述加载模板图片,提取模板图片ORB特征点,还包括:
使用已经标定好的相机内参去矫正特征点的位置;
所述使用已经标定好的相机内参去矫正特征点的位置,包括:
采用如下公式进行径向畸变纠正:
其中,x,y是原始的像素坐标,x'和y'是通过径向畸变参数k1、k2矫正之后的像素坐标,并且r2=x2+y2
采用如下公式进行切向畸变矫正:
其中,x"和y"代表了最终的矫正后的像素坐标,p1和p2是切向畸变矫正参数。
CN201811406491.4A 2018-11-23 2018-11-23 一种单目slam初始化方法 Pending CN109636852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811406491.4A CN109636852A (zh) 2018-11-23 2018-11-23 一种单目slam初始化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811406491.4A CN109636852A (zh) 2018-11-23 2018-11-23 一种单目slam初始化方法

Publications (1)

Publication Number Publication Date
CN109636852A true CN109636852A (zh) 2019-04-16

Family

ID=66069296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811406491.4A Pending CN109636852A (zh) 2018-11-23 2018-11-23 一种单目slam初始化方法

Country Status (1)

Country Link
CN (1) CN109636852A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473258A (zh) * 2019-07-24 2019-11-19 西北工业大学 基于点线统一框架的单目slam系统初始化算法
CN110533587A (zh) * 2019-07-03 2019-12-03 浙江工业大学 一种基于视觉先验信息和地图恢复的slam方法
CN111882589A (zh) * 2020-06-23 2020-11-03 广州万维创新科技有限公司 基于图像的单目视觉slam的初始化方法
CN112233252A (zh) * 2020-10-23 2021-01-15 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统
CN113129366A (zh) * 2020-01-10 2021-07-16 北京字节跳动网络技术有限公司 单目slam初始化方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504677A (zh) * 2014-11-17 2015-04-08 南京泓众电子科技有限公司 一种基于可变视角的图像生成方法
CN106548519A (zh) * 2016-11-04 2017-03-29 上海玄彩美科网络科技有限公司 基于orb‑slam和深度相机的真实感的增强现实方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504677A (zh) * 2014-11-17 2015-04-08 南京泓众电子科技有限公司 一种基于可变视角的图像生成方法
CN106548519A (zh) * 2016-11-04 2017-03-29 上海玄彩美科网络科技有限公司 基于orb‑slam和深度相机的真实感的增强现实方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RA´UL MUR-ARTAL等: "ORB-SLAM: A Versatile and Accurate Monocular SLAM System", 《IEEE TRANSACTIONS ON ROBOTICS》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533587A (zh) * 2019-07-03 2019-12-03 浙江工业大学 一种基于视觉先验信息和地图恢复的slam方法
CN110533587B (zh) * 2019-07-03 2023-06-13 浙江工业大学 一种基于视觉先验信息和地图恢复的slam方法
CN110473258A (zh) * 2019-07-24 2019-11-19 西北工业大学 基于点线统一框架的单目slam系统初始化算法
CN110473258B (zh) * 2019-07-24 2022-05-13 西北工业大学 基于点线统一框架的单目slam系统初始化算法
CN113129366A (zh) * 2020-01-10 2021-07-16 北京字节跳动网络技术有限公司 单目slam初始化方法、装置及电子设备
CN113129366B (zh) * 2020-01-10 2024-04-30 北京字节跳动网络技术有限公司 单目slam初始化方法、装置及电子设备
CN111882589A (zh) * 2020-06-23 2020-11-03 广州万维创新科技有限公司 基于图像的单目视觉slam的初始化方法
CN112233252A (zh) * 2020-10-23 2021-01-15 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统
CN112233252B (zh) * 2020-10-23 2024-02-13 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN109636852A (zh) 一种单目slam初始化方法
Kolomenkin et al. Geometric voting algorithm for star trackers
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
Zhang et al. Vision-based pose estimation for textureless space objects by contour points matching
CN109345588A (zh) 一种基于Tag的六自由度姿态估计方法
Li et al. A 4-point algorithm for relative pose estimation of a calibrated camera with a known relative rotation angle
JP2009093611A (ja) 三次元オブジェクト認識のためのシステムおよび方法
CN113048980B (zh) 位姿优化方法、装置、电子设备及存储介质
CN107330927B (zh) 机载可见光图像定位方法
KR102127679B1 (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
Zheng et al. Minimal solvers for 3d geometry from satellite imagery
CN112184811A (zh) 单目空间结构光系统结构校准方法及装置
CN114761997A (zh) 目标检测方法、终端设备和介质
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN116168143A (zh) 一种多视图三维重建的方法
CN105787464A (zh) 一种大量图片在三维场景中的视点标定方法
Wang et al. Unmanned aerial vehicle and structure‐from‐motion photogrammetry for three‐dimensional documentation and digital rubbing of the Zuo River Valley rock paintings
CN112288813B (zh) 基于多目视觉测量与激光点云地图匹配的位姿估计方法
CN114140527A (zh) 一种基于语义分割的动态环境双目视觉slam方法
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN108961381A (zh) 用于对物体的三维几何模型着色的方法和装置
CN115830116A (zh) 一种鲁棒视觉里程计方法
CN114511637A (zh) 一种基于构造强特征的弱特征物体图像三维重建系统及方法
Wang et al. Stereo rectification based on epipolar constrained neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication