CN109615645A - 基于视觉的特征点提取方法 - Google Patents
基于视觉的特征点提取方法 Download PDFInfo
- Publication number
- CN109615645A CN109615645A CN201811495236.1A CN201811495236A CN109615645A CN 109615645 A CN109615645 A CN 109615645A CN 201811495236 A CN201811495236 A CN 201811495236A CN 109615645 A CN109615645 A CN 109615645A
- Authority
- CN
- China
- Prior art keywords
- characteristic point
- point
- feature points
- orb
- access control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000010354 integration Effects 0.000 claims abstract description 11
- 238000009499 grossing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000011430 maximum method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Abstract
本发明公开了基于视觉的特征点提取方法,采用ORB算法作为基本算法,包括以下步骤:特征点检测;特征点描述:根据高斯分布,特征点匹配;采用ORB算法利用改进FAST算法进行特征点检测,FAST算法具计算量小、可靠性高等优点,但无法获取特征描述所需的方向信息。因此,ORB算法采用灰度矩心法提供特征点主方向信息,提高该方法的旋转不变性。对窗口进行RBF平滑处理获得其灰度积分,用窗口灰度积分的比较代替点对像素值的比较,ORB算子将特征点的主方向应用于BRIEF,使描述子具备旋转不变性。
Description
技术领域
本发明涉及一种图像处理方法,具体涉及一种基于视觉的特征点提取方法
背景技术
基于图像特征点的定位方法时当前对图像进行匹配的主要方法,主要有SIFT、SURF、FAST等特征点。基于特征点的图像配准方法一般包括特征点提取,描述和匹配三个步骤。
目标的检测、识别、定位与跟踪一直是机器视觉和图像处理领域的重要研究内容。在工业检测、安防系统、军事邻域等方面有着重要的应用价值。特征点检测方法利用图像的灰度和梯度等细节提取出特征点,根据特征点的相对位置信息实现模板图像和目标图像的相应特征点匹配。
在变电站巡检中,为了提高导航定位的精度与实时性,也需要对机器人采集到的图像信息,然后与模板图像进行特征匹配。
在现实生活中,我们从不同的距离,不同的方向、角度,不同的光照条件下观察一个物体时,物体的大小,形状,明暗都会有所不同。但我们的大脑依然可以判断它是同一件物体。理想的特征描述子应该具备这些性质。即,在大小、方向、明暗不同的图像中,同一特征点应具有足够相似的描述子,称之为描述子的可复现性。
专利CN 105574873 A提出了一种数量可控的特征点检测方法,该方法预先设定待配准图像特征点的期望点数,根据期望特征点数和图像大小计算点面比,图像特征点检测时,实时计算点面比,比较计算的点面比和期望比。由于该方法计算速度相对较慢,且在变电站巡检中要计算特征点期望数比较困难,所以该方法在变电站导航中并不适用。
专利CN03413326A提出了一种特征点定位方法,该方法通过SIFT算法中特征点检测方法进行采集特征点,然后进一步进行特征点检测和匹配。该方法在特征匹配时使用的SIFT算法特征检测速度慢、具有较低的旋转鲁棒性、尺度不变鲁棒性和实时性,在一些巡检条件下无法适用。且变电站巡检中每类表计的可能会存在刻度不均匀的问题,该专利并未解决此问题。
发明内容
本发明所要解决的技术问题是:现有视觉特征点提取检测速度慢,精度低,在变电站导航中并不适用,本发明提供了解决上述问题的基于视觉的特征点提取方法。
本发明通过下述技术方案实现:
基于视觉的特征点提取方法,采用ORB算法作为基本算法,包括以下步骤:
①特征点检测;
②特征点描述:根据高斯分布,在特征点周围m×m像素邻域内随机选取n×n的子窗口,对窗口进行RBF平滑处理获得其灰度积分,用窗口灰度积分的比较进行特征识别;灰度积分的ORB算子将特征点的主方向应用于BRIEF,得到ORB算子的描述符,使得特征点的描述子具备旋转不变性;
③特征点匹配:对ORB算子通过描述符进行匹配时用Hamming distance进行相似性度量,并利用最近或次近原则进行判断,当两个关键点之间的最短和次最短Hammingdistance比例小于0.5时,认为这两个特征点匹配成功。
进一步的,特征点检测包括以下步骤:
a.对表计特征点进行初提取;
b.采用机器学习的方法筛选出初提取的表计中的最优特征点;
c.采用非极大值方法抑制去最优特征点中除局部较密集的特征点;
d.对特征点的尺度进行不变形处理;
e.对特征点的旋转进行不变形处理。
进一步的,步骤e中对特征点的旋转进行不变形处理使用的是灰度矩心法进行处理,采用灰度矩心法提供特征点主方向信息θ,使得特征点的旋转不变形。
进一步的,灰度矩心法提供特征点主方向信息θ的方法具体如下:
假设特征点的灰度与邻域质心之间存在一个一个偏移向量,对于任意一个角点,定义特征点区域的灰度矩为
其中I(x,y)为点(x,y)处的灰度值;灰度矩心为
其中:
特征点与邻域质心的夹角定义为ORB特征点的主方向
取特征点为圆心半径为r的圆形区域为特征点的邻域,所述r为设定值,上述点(x,y)均在圆形区域内。
进一步的,步骤②的处理方法如下:
BRIEF中点对灰度值的比较值定义为
其中p(x)为平滑后点x处的像素灰度值;在特征点邻域内取n个点对,BRIEF描述子可表示为
ORB算法将所有点对进行旋转,在算法实现时,定义所有点对为2×2n的矩阵,有
其中每一列(x,y)T为点对中某一点在图像中的位置;所述θ为特征点的主方向,其旋转矩阵为Rθ,则旋转后的特征点对矩阵为
Sθ=RθS
所述ORB算子的描述符为
gn(p,θ)=fn(p)|(xi,yi)∈sθ
进一步的,m是20~35,所述n是3~7。
进一步的,m是31,所述n是5。
一种机器人的视觉定位方法,
首先在拟工作的场景中采集特征点图片,并将其坐标标定在地图数据库中;
然后采用上述的基于视觉的特征点提取方法提取灰度图像中的特征点,并和数据库中的特征点图片进行匹配,如果特征减少导致跟踪丢失,则会进入重新定位模式;在获得了两幅图片正确的特征匹配后,就可以根据两视图几何中的对极约束方法求解机器人姿态变换,从而求解机器人在空间中的具体位置。
本发明具有如下的优点和有益效果:
1、本发明通过使用ORB算法提取特征点,ORB具有实时性高、计算速度快等特点,能够满足变电站的特征提取需求;
2、本发明ORB算法采用灰度矩心法提供特征点主方向信息,提高该方法的特征点的旋转不变性;
3、本发明ORB算子将特征点的主方向应用于BRIEF,用窗口灰度积分的比较代替点对像素值的比较,提高描述子旋转不变性。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明ORB提取步骤流程图。
图2为本发明的特征点提取步骤流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1
如图1所示;采用ORB算法作为基本算法,包括以下步骤:
①特征点检测:ORB算法利用改进FAST算法进行特征点检测,FAST算法具计算量小、可靠性高等优点,但无法获取特征描述所需的方向信息。因此,ORB算法采用灰度矩心法提供特征点主方向信息。
如图2所示,实施时,特征点检测包括以下步骤:
a.对表计特征点进行初提取;
b.采用机器学习的方法筛选出初提取的表计中的最优特征点;
c.采用非极大值方法抑制去最优特征点中除局部较密集的特征点;
d.对特征点的尺度进行不变形处理;
e.对特征点的旋转进行不变形处理。
灰度矩心法提供特征点主方向信息θ的方法具体如下:
假设特征点的灰度与邻域质心之间存在一个一个偏移向量,对于任意一个角点,定义特征点区域的灰度矩为
其中I(x,y)为点(x,y)处的灰度值;灰度矩心为
其中:
特征点与邻域质心的夹角定义为ORB特征点的主方向
为了提高该方法的旋转不变性,取特征点为圆心半径为r的圆形区域为特征点的邻域,所述r为设定值,上述点(x,y)均在圆形区域内。
②特征点描述:根据高斯分布,在特征点周围m×m像素邻域内随机选取n×n的子窗口,所述m是31,所述n是5;对窗口进行RBF平滑处理获得其灰度积分,用窗口灰度积分的比较进行特征识别;灰度积分的ORB算子将特征点的主方向应用于BRIEF,得到ORB算子的描述符,使得特征点的描述子具备旋转不变性;
BRIEF中点对灰度值的比较值定义为
其中p(x)为平滑后点x处的像素灰度值;在特征点邻域内取n个点对,BRIEF描述子可表示为
ORB算法将所有点对进行旋转,在算法实现时,定义所有点对为2×2n的矩阵,有
其中每一列(x,y)T为点对中某一点在图像中的位置;所述θ为特征点的主方向,其旋转矩阵为Rθ,则旋转后的特征点对矩阵为
Sθ=RθS
所述ORB算子的描述符为
gn(p,θ)=fn(p)|(xi,yi)∈sθ。
③特征点匹配:因为ORB描述符为二进制形式,匹配时需要用Hamming distance进行相似性度量,并利用最近/次近原则进行判断。Hamming distance体现了两个二进制字符串的相关程度,当两个关键点之间的最短和次最短Hamming distance比例小于0.5时,认为这两个特征点匹配成功。
实施例2
一种机器人的视觉定位方法,
首先在拟工作的场景中采集特征点图片,并将其坐标标定在地图数据库中;
然后采用如实施例1所述的基于视觉的特征点提取方法提取灰度图像中的特征点,并和数据库中的特征点图片进行匹配,如果特征减少导致跟踪丢失,则会进入重新定位模式;在获得了两幅图片正确的特征匹配后,就可以根据两视图几何中的对极约束方法求解机器人姿态变换,从而求解机器人在空间中的具体位置。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.基于视觉的特征点提取方法,其特征在于,采用ORB算法作为基本算法,包括以下步骤:
①特征点检测;
②特征点描述:根据高斯分布,在特征点周围m×m像素邻域内随机选取n×n的子窗口,对窗口进行RBF平滑处理获得其灰度积分,用窗口灰度积分的比较进行特征识别;灰度积分的ORB算子将特征点的主方向应用于BRIEF,得到ORB算子的描述符,使得特征点的描述子具备旋转不变性;
③特征点匹配:对ORB算子通过描述符进行匹配时用Hamming distance进行相似性度量,并利用最近或次近原则进行判断,当两个关键点之间的最短和次最短Hammingdistance比例小于0.5时,认为这两个特征点匹配成功。
2.根据权利要求1所述的基于视觉的特征点提取方法,其特征在于,所述特征点检测包括以下步骤:
a.对表计特征点进行初提取;
b.采用机器学习的方法筛选出初提取的表计中的最优特征点;
c.采用非极大值方法抑制去最优特征点中除局部较密集的特征点;
d.对特征点的尺度进行不变形处理;
e.对特征点的旋转进行不变形处理。
3.根据权利要求2所述的基于视觉的特征点提取方法,其特征在于,所述步骤e中对特征点的旋转进行不变形处理使用的是灰度矩心法进行处理,采用灰度矩心法提供特征点主方向信息θ,使得特征点的旋转不变形。
4.根据权利要求3所述的基于视觉的特征点提取方法,其特征在于,所述灰度矩心法提供特征点主方向信息θ的方法具体如下:
假设特征点的灰度与邻域质心之间存在一个一个偏移向量,对于任意一个角点,定义特征点区域的灰度矩为
其中I(x,y)为点(x,y)处的灰度值;灰度矩心为
其中:
特征点与邻域质心的夹角定义为ORB特征点的主方向
θ=acrtan(m01,m10)
取特征点为圆心半径为r的圆形区域为特征点的邻域,所述r为设定值,上述点(x,y)均在圆形区域内。
5.根据权利要求3所述的基于视觉的特征点提取方法,其特征在于,所述步骤②的处理方法如下:
BRIEF中点对灰度值的比较值定义为
其中p(x)为平滑后点x处的像素灰度值;在特征点邻域内取n个点对,BRIEF描述子可表示为
ORB算法将所有点对进行旋转,在算法实现时,定义所有点对为2×2n的矩阵,有
其中每一列(x,y)T为点对中某一点在图像中的位置;所述θ为特征点的主方向,其旋转矩阵为Rθ,则旋转后的特征点对矩阵为
Sθ=RθS
所述ORB算子的描述符为
gn(p,θ)=fn(p)|(xi,yi)∈sθ。
6.根据权利要求1所述的基于视觉的特征点提取方法,其特征在于,所述m是20~35,所述n是3~7。
7.根据权利要求1所述的基于视觉的特征点提取方法,其特征在于,所述m是31,所述n是5。
8.一种机器人的视觉定位方法,其特征在于,
首先在拟工作的场景中采集特征点图片,并将其坐标标定在地图数据库中;
然后采用如权利要求1至7中任意一项所述的基于视觉的特征点提取方法提取灰度图像中的特征点,并和数据库中的特征点图片进行匹配,如果特征减少导致跟踪丢失,则会进入重新定位模式;在获得了两幅图片正确的特征匹配后,就可以根据两视图几何中的对极约束方法求解机器人姿态变换,从而求解机器人在空间中的具体位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811495236.1A CN109615645A (zh) | 2018-12-07 | 2018-12-07 | 基于视觉的特征点提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811495236.1A CN109615645A (zh) | 2018-12-07 | 2018-12-07 | 基于视觉的特征点提取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109615645A true CN109615645A (zh) | 2019-04-12 |
Family
ID=66008585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811495236.1A Pending CN109615645A (zh) | 2018-12-07 | 2018-12-07 | 基于视觉的特征点提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109615645A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135442A (zh) * | 2019-05-20 | 2019-08-16 | 驭势科技(北京)有限公司 | 一种特征点提取算法的评价系统与方法 |
CN110631588A (zh) * | 2019-09-23 | 2019-12-31 | 电子科技大学 | 一种基于rbf网络的无人机视觉导航定位方法 |
CN110647609A (zh) * | 2019-09-17 | 2020-01-03 | 上海图趣信息科技有限公司 | 视觉地图定位方法及系统 |
CN111123962A (zh) * | 2019-12-16 | 2020-05-08 | 中国计量大学 | 一种用于电力杆塔巡检的旋翼无人机重定位拍照方法 |
CN111160371A (zh) * | 2019-12-30 | 2020-05-15 | 长春理工大学 | 一种orb均匀提取特征点方法 |
CN111796600A (zh) * | 2020-07-22 | 2020-10-20 | 中北大学 | 一种基于四足机器人的物体识别与跟踪系统 |
CN114526682A (zh) * | 2022-01-13 | 2022-05-24 | 华南理工大学 | 一种基于图像特征增强数字体图像相关法的变形测量方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556647A (zh) * | 2009-05-20 | 2009-10-14 | 哈尔滨理工大学 | 一种基于改进sift算法的移动机器人视觉定位方法 |
CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学(武汉) | 一种自适应orb目标跟踪方法 |
CN106960451A (zh) * | 2017-03-13 | 2017-07-18 | 西安电子科技大学 | 一种提升图像弱纹理区域特征点数量的方法 |
CN107239792A (zh) * | 2017-05-12 | 2017-10-10 | 大连理工大学 | 一种基于二进制描述子的工件识别方法及装置 |
CN108596867A (zh) * | 2018-05-09 | 2018-09-28 | 五邑大学 | 一种基于orb算法的图片校正方法及系统 |
CN108596197A (zh) * | 2018-05-15 | 2018-09-28 | 汉王科技股份有限公司 | 一种印章匹配方法及装置 |
-
2018
- 2018-12-07 CN CN201811495236.1A patent/CN109615645A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556647A (zh) * | 2009-05-20 | 2009-10-14 | 哈尔滨理工大学 | 一种基于改进sift算法的移动机器人视觉定位方法 |
CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学(武汉) | 一种自适应orb目标跟踪方法 |
CN106960451A (zh) * | 2017-03-13 | 2017-07-18 | 西安电子科技大学 | 一种提升图像弱纹理区域特征点数量的方法 |
CN107239792A (zh) * | 2017-05-12 | 2017-10-10 | 大连理工大学 | 一种基于二进制描述子的工件识别方法及装置 |
CN108596867A (zh) * | 2018-05-09 | 2018-09-28 | 五邑大学 | 一种基于orb算法的图片校正方法及系统 |
CN108596197A (zh) * | 2018-05-15 | 2018-09-28 | 汉王科技股份有限公司 | 一种印章匹配方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135442A (zh) * | 2019-05-20 | 2019-08-16 | 驭势科技(北京)有限公司 | 一种特征点提取算法的评价系统与方法 |
CN110135442B (zh) * | 2019-05-20 | 2021-12-14 | 驭势科技(北京)有限公司 | 一种特征点提取算法的评价系统与方法 |
CN110647609A (zh) * | 2019-09-17 | 2020-01-03 | 上海图趣信息科技有限公司 | 视觉地图定位方法及系统 |
CN110647609B (zh) * | 2019-09-17 | 2023-07-18 | 上海图趣信息科技有限公司 | 视觉地图定位方法及系统 |
CN110631588A (zh) * | 2019-09-23 | 2019-12-31 | 电子科技大学 | 一种基于rbf网络的无人机视觉导航定位方法 |
CN111123962A (zh) * | 2019-12-16 | 2020-05-08 | 中国计量大学 | 一种用于电力杆塔巡检的旋翼无人机重定位拍照方法 |
CN111160371A (zh) * | 2019-12-30 | 2020-05-15 | 长春理工大学 | 一种orb均匀提取特征点方法 |
CN111160371B (zh) * | 2019-12-30 | 2023-08-25 | 长春理工大学 | 一种orb均匀提取特征点方法 |
CN111796600A (zh) * | 2020-07-22 | 2020-10-20 | 中北大学 | 一种基于四足机器人的物体识别与跟踪系统 |
CN114526682A (zh) * | 2022-01-13 | 2022-05-24 | 华南理工大学 | 一种基于图像特征增强数字体图像相关法的变形测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109615645A (zh) | 基于视觉的特征点提取方法 | |
CN106651942B (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
CN104867160B (zh) | 一种用于摄像机内外参数标定的方向性标定靶标 | |
CN106530347B (zh) | 一种稳定的高性能圆特征检测方法 | |
CN106204574B (zh) | 基于目标平面运动特征的相机位姿自标定方法 | |
CN109631855A (zh) | 基于orb-slam的高精度车辆定位方法 | |
CN110097093A (zh) | 一种异源图像精确匹配方法 | |
CN106295512B (zh) | 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法 | |
CN105096317A (zh) | 一种复杂背景中的高性能相机全自动标定方法 | |
CN103839058A (zh) | 一种基于标准模版的文档图像的信息定位方法 | |
CN105069809B (zh) | 一种基于平面混合标识物的相机定位方法及系统 | |
CN103136525B (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
Yang et al. | Fast and accurate vanishing point detection and its application in inverse perspective mapping of structured road | |
CN106327534B (zh) | 一种基于定位块的轮胎内壁纹理识别方法 | |
CN105893981B (zh) | 一种人脸姿态矫正方法 | |
CN104933434A (zh) | 一种结合LBP特征提取和surf特征提取方法的图像匹配方法 | |
CN110246168A (zh) | 一种移动巡检机器人双目图像拼接的特征匹配方法 | |
CN107066969A (zh) | 一种人脸识别方法 | |
CN108010082B (zh) | 一种几何匹配的方法 | |
CN105160686B (zh) | 一种基于改进sift算子的低空多视角遥感影像匹配方法 | |
Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
CN110096920A (zh) | 一种面向视觉伺服的高精度高速定位标签和定位方法 | |
CN107677274A (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
CN106709500A (zh) | 一种图像特征匹配的方法 | |
CN110197157A (zh) | 一种基于历史裂纹数据的路面裂纹生长检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190412 |