CN109993107B - 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法 - Google Patents

一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法 Download PDF

Info

Publication number
CN109993107B
CN109993107B CN201910248088.1A CN201910248088A CN109993107B CN 109993107 B CN109993107 B CN 109993107B CN 201910248088 A CN201910248088 A CN 201910248088A CN 109993107 B CN109993107 B CN 109993107B
Authority
CN
China
Prior art keywords
obstacle
iterative
image
means algorithm
mobile robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910248088.1A
Other languages
English (en)
Other versions
CN109993107A (zh
Inventor
许德章
王毅恒
汪步云
汪志红
许曙
王智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Wuhu Anpu Robot Industry Technology Research Institute Co Ltd
Original Assignee
Anhui Polytechnic University
Wuhu Anpu Robot Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University, Wuhu Anpu Robot Industry Technology Research Institute Co Ltd filed Critical Anhui Polytechnic University
Priority to CN201910248088.1A priority Critical patent/CN109993107B/zh
Publication of CN109993107A publication Critical patent/CN109993107A/zh
Application granted granted Critical
Publication of CN109993107B publication Critical patent/CN109993107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法，本方法先将判断检测目标是否构成障碍物的问题，简化为检测目标边界框中心点的分类问题，通过对比检测目标边界框中心点与采集图像中心点和明显非障碍物边界框中心点是否为相似度较高的同一簇，以及通过非迭代K均值算法将检测目标分成障碍物和非障碍物两类，进而完成障碍物检测。与现有检测方法相比，机器视觉使用的相机是被动式测量，不会对周围环境造成干扰；可以检测更宽广视角下的障碍物而无需进行扫描；机器视觉能在瞬时得到一个面上的信息，并进一步得到一个区域范围的信息；相比于其他传感器，用于障碍物检测的相机价格更低，且图像内包含的信息更多。

Description

一种基于非迭代K均值算法的移动机器人障碍物视觉检测 方法
技术领域
本发明涉及机器人视觉检测识别技术领域，具体为一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法。
背景技术
近年来机器人技术和行业快速发展，移动机器人应用场景也越来越广泛，其研究和应用也已经从军事和工业领域扩展到了农业、家用、服务和安防等行业。在移动机器人研究领域，障碍物检测是一个重要方向。移动机器人正常工作时，其前进路线方向上会有障碍物出现，如固定不动的花盆、桌子等，也存在随机出现的行人、车辆或动物等，只有不断避开障碍物才能够到达目的地，因此完成移动机器人行进中机器人障碍物检测是十分有必要的。
现有的障碍物检测方法有基于激光雷达信息的检测方法、基于超声波的检测方法。但是这两种方法只能检测出障碍物距离，并不能够对障碍物的类别进行识别，而障碍物的类别也是移动机器人障碍物检测的重要参考因素。
发明内容
为了解决上述背景技术中所提到的现有机器人障碍物检测方法只能够检测障碍物距离而无法对障碍物进行类别识别的问题，本发明提出了一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法。
本发明所要解决的技术问题采用以下技术方案来实现：
一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法，包括以下步骤：
A、将图像采集设备安装在带有计算机系统的机器人上，获取机器人前方的图像信息，并将其传输到计算机系统上；
B、构建机器人工作环境中可能遇到的各种障碍物的样本集，并利用图像深度学习算法对该样本集进行深度学习模型训练；
C、根据步骤B中的深度学习模型对机器人获取到的图像进行目标检测，并得到检测目标识别框中心点的坐标值；
D、根据步骤A中所获取的图像，获得图像中心点的坐标值和明显非障碍物中心点的坐标值；
E、将步骤D中的图像中心点的坐标值以及明显非障碍物中心点的坐标值整理成待分类的数据集V＝{v1,v2,…,vn}；
F、通过分类方法将步骤E中的数据集进行分类，分成障碍物和非障碍物两类；
G、通过非迭代K均值算法将各个检测目标识别框中心点的坐标值划分到步骤F中的两类中；
H、得到最终结果，过滤非障碍物，完成障碍物检测。
作为本发明的进一步改进，所述步骤B中深度学习模型训练的具体步骤如下：
(1)对机器人工作环境中可能遇到的各种障碍物进行归类，障碍物种类集合为S＝{s1,s2,s3,…,sn}，其中0<n，且n为整数，其中sn代表一种障碍物；
(2)分别搜集含有步骤C1中所述s1,s2,s3,…,sn的图片，并分类成多个图片集s1＝{…}，s2＝{…}，s3＝{…}，…，sn＝{…}；
(3)在计算机系统上对步骤C2搜集到的图片集中的每张图片做ROI处理，得到数据集Ds1＝{…}，Ds2＝{…}，Ds3＝{…}，…，Dsn＝{…}；
(4)在计算机系统上对步骤C3中做ROI处理的图像数据分成训练集、测试集、验证集，选择一种深度学习模型框架，并完成深度学习模型训练。
作为本发明的进一步改进，所述步骤G中非迭代K均值算法的具体步骤如下：
(1)先确定数据集中分类簇的数量a，设簇
Figure GDA0002053141020000021
(2)选取各分类簇的初始的簇核心b1,b2,…,ba；
(3)计算样本vi(1≤i≤n)与各簇核心bj(1≤j≤a)的距离：dij＝||vi-bj||；
(4)根据距离最近的簇核心，确定vi的簇标记：λi＝argminj∈{1,2,…a}dij，将样本vi划入相应的簇：Cλi＝Cλi∪{vi}。
作为本发明的进一步改进，所述非迭代K均值算法中分类簇的初始簇数为两个。
作为本发明的进一步改进，所述非迭代K均值算法中分类簇的初始均值向量为已知均值向量。
作为本发明的进一步改进，所述图像采集设备为被动测量的摄像设备。
本发明的有益效果是：
本发明先将判断检测目标是否构成障碍物的问题，简化为检测目标边界框中心点的分类问题，通过对比检测目标边界框中心点与采集图像中心点和明显非障碍物边界框中心点是否为相似度较高的同一簇，以及通过非迭代K均值算法将检测目标分成障碍物和非障碍物两类，进而完成障碍物检测。与现有检测方法相比，机器视觉使用的相机是被动式测量，不会对周围环境造成干扰；可以检测更宽广视角下的障碍物而无需进行扫描；机器视觉能在瞬时得到一个面上的信息，并进一步得到一个区域范围的信息；相比于其他传感器，用于障碍物检测的相机价格更低，且图像内包含的信息更多。
附图说明
下面结合附图和实施例对本发明进一步说明：
图1为本发明实施例中目标检测边界框中心点标注示意图；
图2为本发明实施例中边界框参数示意图；
图3为本发明实施例中图像目标检测中心点示意图；
图4为本发明实施例中目标检测障碍物分类结果示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图以及实施例对本发明进一步阐述。
如图1至图4所示，一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法，包括以下步骤：
A、将图像采集设备安装在带有计算机系统的机器人上，获取机器人前方的图像信息，并将其传输到计算机系统上。
具体地，所述图像采集设备为被动测量的摄像设备，即可以是单目相机或者是双目相机，具体情况可以根据实际情况决定；所述计算机系统应包含CPU和GPU；首先用USB将相机与笔记本电脑相连，然后相机采集机器人前方的的图像。其中用dark-net版本yolov3神经网络框架的和训练好的数据集yolov3.weights作为图像软件检测工具，在VS2015环境下运行。
B、构建机器人工作环境中可能遇到的各种障碍物的样本集，并利用图像深度学习算法对该样本集进行深度学习模型训练。
具体地，利用图像深度学习算法对该样本集进行深度学习模型训练的具体步骤如下：
(1)对机器人工作环境中可能遇到的各种障碍物进行归类，障碍物种类集合为S＝{s1,s2,s3,…,sn}，其中0<n，且n为整数，其中sn代表一种障碍物；
(2)分别搜集含有步骤C1中所述s1,s2,s3,…,sn的图片，并分类成多个图片集s1＝{…}，s2＝{…}，s3＝{…}，…，sn＝{…}；
(3)在计算机系统上对步骤C2搜集到的图片集中的每张图片做ROI处理，得到数据集Ds1＝{…}，Ds2＝{…}，Ds3＝{…}，…，Dsn＝{…}；
(4)在计算机系统上对步骤C3中做ROI处理的图像数据分成训练集、测试集、验证集，选择一种深度学习模型框架，并完成深度学习模型训练。
C、根据步骤B中的深度学习模型对机器人获取到的图像进行目标检测，并得到检测目标识别框中心点的坐标值。
D、根据步骤A中所获取的图像，获得图像中心点的坐标值和明显非障碍物中心点的坐标值。
具体地，以一次实验为例。如图1和图2所示，其中图1为相机获取的图像，该图像的规格为1280*800，图2中的x、y、w、h的单位均是图像中的像素最小单位，其中所述图像中心点的坐标值为Pcentor(640,400)；每一个边界框的预测值实际上包含了5个元素，其表征函数为：f＝(x,y,w,h,c)；其中前4个表征边界框的位置与大小，最后一个值是置信度c。(x,y)是边界框左上角在图像中的位置，(w,h)是边界框的宽度和长度，则检测目标边界框中心点坐标为(x0,y0)：
x0＝x+w/2
y0＝y+h/2
表1为图像中检测目标的表征函数相关参数
检测目标 图像中各检测目标表征函数值
Person1 (377,280,79,197,0.94)
Chair (506,360,157,191,0.77)
Bench (509,373,155,199,0.52)
Person2 (590,235,84,226,1.00)
Robot (994,287,51,83,0.63)
其中表1中的左侧图像表征函数值和右侧图像中的表征函数值进行上述运算的结果如图3所示。
E、将步骤D中的图像中心点的坐标值以及明显非障碍物中心点的坐标值整理成待分类的数据集V＝{v1,v2,…,vn}。
F、通过分类方法将步骤E中的数据集进行分类，分成障碍物和非障碍物两类。
G、通过非迭代K均值算法将各个检测目标识别框中心点的坐标值划分到步骤F中的两类中。
具体地，所述步骤G中非迭代K均值算法的具体步骤如下：
(1)先确定数据集中分类簇的数量a，设簇
Figure GDA0002053141020000051
(2)选取各分类簇的初始的簇核心b1,b2,…,ba；
(3)计算样本vi(1≤i≤n)与各簇核心bj(1≤j≤a)的距离：dij＝||vi-bj||；
(4)根据距离最近的簇核心，确定vi的簇标记：λi＝argminj∈{1,2,…a}dij，将样本vi划入相应的簇：Cλi＝Cλi∪{vi}。
对本实施例中实验中检测到的障碍物目标边界框中心点和图像中心点进行非迭代K均值分类；
D＝{Person1,Chair,Bench,Person2,Robot,Pcentor}。
所述步骤G中非迭代K均值算法有两个特点，其中第一个分类簇的初始簇的个数是确定的，根据具体情况进行分类簇数量的选择；第二个，分类簇的初始均值向量是已知的，根据分类目的选取初始簇核心。
H、得到最终结果，过滤非障碍物，完成障碍物检测。
具体地，以一次实验为例，如图1实验结果所示，处于移动机器人前进路线上检测到工业机器人和行人，但其中工业机器人不在移动机器人行进的路线上，因此该目标不构成障碍，因此要将不在移动机器人前进路线上的工业机器人目标检测结果排除，本文用K-means聚类算法一次迭代，将构成障碍的检测目标归为障碍物类别，将不构成障碍的检测目标归为非障碍物类别，从而把非障碍物类别的检测目标过滤。
本实施例中的实验中的点可分为两类，其中第一类是处在移动机器人的前进方向范围内，是主要障碍物，即是我们要检测的目标，这些点是距离图像中心点较近的点；第二类是在目标检测时，检测到的物体，但是该类物体不在移动机器人前进方向范围内，不属于障碍物，是检测结果的干扰项，是我们在障碍物检测时需要舍去的的检测目标。因此，所述非迭代K均值算法中分类簇的初始簇数为两个，分别是簇Obstacle(障碍物)和簇Non-Obstacle(非障碍物)。由图3可知Robot作为簇核心，对于图像中的检测物体，即Pcentor(640,400)，Robot(1019.5,328.5)。考察样本Personl(416.5,378.5)，它与当前簇核心坐标Pcentor，Robot的距离分别为224.53，605.07，因此Personl将被划入簇Obstacle中；根据上述步骤对数据集中的所有的样本考察一遍后，可得如下表2：
Figure GDA0002053141020000061
由表2可知，当前簇划分为：
Figure GDA0002053141020000062
进一步得到迭代之后的簇划分结果未变，障碍物检测结果如图4所示。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法，其特征在于：包括以下步骤：
A、将图像采集设备安装在带有计算机系统的机器人上，获取机器人前方的图像信息，并将其传输到计算机系统上；
B、构建机器人工作环境中可能遇到的各种障碍物的样本集，并利用图像深度学习算法对该样本集进行深度学习模型训练；
C、根据步骤B中的深度学习模型对机器人获取到的图像进行目标检测，并得到检测目标识别框中心点的坐标值；
D、根据步骤A中所获取的图像，获得图像中心点的坐标值和明显非障碍物中心点的坐标值；
E、将步骤D中的图像中心点的坐标值以及明显非障碍物中心点的坐标值整理成待分类的数据集V＝{v1,v2,…,vn}；
F、通过分类方法将步骤E中的数据集进行分类，分成障碍物和非障碍物两类；
G、通过非迭代K均值算法将各个检测目标识别框中心点的坐标值划分到步骤F中的两类中；
H、得到最终结果，过滤非障碍物，完成障碍物检测。
2.根据权利要求1所述的一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法，其特征在于：所述步骤B中深度学习模型训练的具体步骤如下：
(1)对机器人工作环境中可能遇到的各种障碍物进行归类，障碍物种类集合为S＝{s1,s2,s3,…,sn}，其中0<n，且n为整数，其中sn代表一种障碍物；
(2)分别搜集含有步骤C1中所述s1,s2,s3,…,sn的图片，并分类成多个图片集s1＝{…}，s2＝{…}，s3＝{…}，…，sn＝{…}；
(3)在计算机系统上对步骤C2搜集到的图片集中的每张图片做ROI处理，得到数据集Ds1＝{…}，Ds2＝{…}，Ds3＝{…}，…，Dsn＝{…}；
(4)在计算机系统上对步骤C3中做ROI处理的图像数据分成训练集、测试集、验证集，选择一种深度学习模型框架，并完成深度学习模型训练。
3.根据权利要求1所述的一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法，其特征在于：所述步骤G中非迭代K均值算法的具体步骤如下：
(1)先确定数据集中分类簇的数量a，设簇
Figure FDA0002053141010000021
(2)选取各分类簇的初始的簇核心b1,b2,…,ba；
(3)计算样本vi(1≤i≤n)与各簇核心bj(1≤j≤a)的距离：dij＝||vi-bj||；
(4)根据距离最近的簇核心，确定vi的簇标记：λi＝argminj∈{1,2,…a}dij，将样本vi划入相应的簇：Cλi＝Cλi∪{vi}。
4.根据权利要求3所述的一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法，其特征在于：所述非迭代K均值算法中分类簇的初始簇数为两个。
5.根据权利要求3所述的一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法，其特征在于：所述非迭代K均值算法中分类簇的初始均值向量为已知均值向量。
6.根据权利要求1所述的一种基于非迭代K均值算法的移动机器人障碍物视觉检测方法，其特征在于：所述图像采集设备为被动测量的摄像设备。
CN201910248088.1A 2019-03-29 2019-03-29 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法 Active CN109993107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910248088.1A CN109993107B (zh) 2019-03-29 2019-03-29 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910248088.1A CN109993107B (zh) 2019-03-29 2019-03-29 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法

Publications (2)

Publication Number Publication Date
CN109993107A CN109993107A (zh) 2019-07-09
CN109993107B true CN109993107B (zh) 2022-11-22

Family

ID=67131785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910248088.1A Active CN109993107B (zh) 2019-03-29 2019-03-29 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法

Country Status (1)

Country Link
CN (1) CN109993107B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705492A (zh) * 2019-10-10 2020-01-17 北京北特圣迪科技发展有限公司 一种舞台移动机器人障碍目标检测方法
CN112859111A (zh) * 2019-11-27 2021-05-28 西北农林科技大学 一种基于组合信息的农业障碍物属性检测方法
CN111337898B (zh) * 2020-02-19 2022-10-14 北京百度网讯科技有限公司 激光点云的处理方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101881615A (zh) * 2010-05-28 2010-11-10 清华大学 用于驾驶安全的视觉障碍物检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9933264B2 (en) * 2015-04-06 2018-04-03 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101881615A (zh) * 2010-05-28 2010-11-10 清华大学 用于驾驶安全的视觉障碍物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种新的SVM主动学习算法及其在障碍物检测中的应用;韩光等;《计算机研究与发展》;20091130(第11期);全文 *

Also Published As

Publication number Publication date
CN109993107A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109034047B (zh) 一种车道线检测方法及装置
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN110070570B (zh) 一种基于深度信息的障碍物检测系统及方法
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
JP6345147B2 (ja) ステレオ画像の対において物体を検出する方法
CN109993107B (zh) 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN111046843B (zh) 一种智能驾驶环境下的单目测距方法
WO2013020142A2 (en) Image-based crack detection
JP2012083855A (ja) 物体認識装置及び物体認識方法
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
CN111027481A (zh) 基于人体关键点检测的行为分析方法及装置
CN110443247A (zh) 一种无人机地面运动小目标实时检测系统及方法
CN110298248A (zh) 一种基于语义分割的多目标跟踪方法及系统
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN116229189B (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN116883945B (zh) 一种融合目标边缘检测和尺度不变特征变换的人员识别定位方法
CN109886780B (zh) 基于眼球跟踪的商品目标检测方法及装置
CN109063543B (zh) 一种考虑局部形变的视频车辆重识别方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant