CN114111791A - 一种智能机器人室内自主导航方法、系统及存储介质 - Google Patents
一种智能机器人室内自主导航方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114111791A CN114111791A CN202111386160.0A CN202111386160A CN114111791A CN 114111791 A CN114111791 A CN 114111791A CN 202111386160 A CN202111386160 A CN 202111386160A CN 114111791 A CN114111791 A CN 114111791A
- Authority
- CN
- China
- Prior art keywords
- robot
- depth camera
- autonomous navigation
- laser radar
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 230000010354 integration Effects 0.000 claims abstract description 4
- 238000013075 data extraction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种智能机器人室内自主导航方法、系统及存储介质,所述方法首先利用深度相机采集环境图像,提取其内外参矩阵,利用激光雷达扫描周围环境,轮式里程计利用光电编码器进行自身定位,采用卡尔曼滤波法对激光雷达和轮式里程计的数据进行初步校准,然后利用视觉基准库对深度相机内外参矩阵和初步校准结果进行校准整合;最后用贝叶斯估计对融合校准后的数据进行数据融合,识别环境中的障碍物信息,构建供机器人自主导航的地图;本发明融合了多种传感器的优势,采取多种方法进行校准融合,保证地图数据的精确性和鲁棒性,提升机器人室内自主导航的可靠度。
Description
技术领域
本发明涉及一种机器人自主导航方法、系统及存储介质。
背景技术
对于室外的智能机器人可以通过已有的卫星定位系统实现自主导航,但对于室内的 智能机器人来说,由于墙壁等多种因素的干扰,卫星导航技术无法做到像在室外一样精确,目前主要通过SLAM(即时定位与地图构建)技术解决这一问题,尤其是激光雷达 SLAM技术和视觉SLAM技术;但只采用激光雷达SLAM技术,其构建的地图会受特 殊材质的影响无法准确反映真实情况,并且一旦环境发生任何改变,其构建的地图就会 失去作用;若只采用视觉SLAM技术,就会造成视觉偏差和漂移问题。目前也有多传感 器融合的方案,但多局限于构建二维地图,数据的偏差较大。
发明内容
发明目的:本发明的目的是提供一种智能机器人室内自主导航方法、系统及存储介 质,提高自主导航的精确性和鲁棒性。
技术方案:本发明所述的一种智能机器人室内自主导航方法,包括如下步骤:
(1)深度相机采集环境图像,提取深度相机的内外参矩阵;
(2)激光雷达扫描周围环境,轮式里程计利用光电编码器进行自身定位,采用卡尔曼滤波法对激光雷达和轮式里程计的数据进行初步校准,获取机器人位姿;
(3)利用视觉基准库对深度相机内外参矩阵和步骤(2)得到的初步校准结果进行校准整合;
(4)用贝叶斯估计对融合校准后的数据进行数据融合,识别环境中的障碍物信息,构建导航地图,机器人按照地图进行自主导航。
进一步地,步骤(1)提取深度相机的内外参矩阵的方法为:利用深度相机内一点坐标和矫正后的位置坐标计算该点实际坐标,利用视觉基准库计算深度相机的内外参矩阵。
进一步地,步骤(2)进行初步校准的方法为:计算激光雷达和轮式里程计的位姿观测值,通过比较两者的马氏距离测算其关联性,当距离小于阈值则采用卡尔曼滤波法 得到更新的机器人位姿值否则重新进行初步校准;其中 xk+1=f(xk,yk)+θk为机器人在k+1时刻的位姿值,fk为位姿值的雅克比矩阵, Kk+1=fk(xk+1fk T)-1为卡尔曼增益。
进一步地,步骤(3)进行校准整合的方法为:
(31)通过估计机器人的横滚角和俯仰角校正激光雷达和轮式里程计的内外参矩阵;
(32)将深度相机的实际坐标点平移至机器人坐标系;
(33)利用视觉基准库和深度相机的内外参重新计算轮式里程计与激光雷达的内外 参矩阵,直至两次计算结果的误差小于5%,再进行非线性优化,否则返回步骤(31) 重新计算。
进一步地,步骤(4)进行数据融合的方法为:计算融合校准后数据的后验概率, 若后验概率的极大值不在阈值区间范围内,则返回步骤(1),否则将轮式里程计和激 光雷达的信息与深度相机采集的图像进行比较,选取特征点,计算轮式里程计与激光雷 达与深度相机坐标系原点的距离,并与贝叶斯估计的结果进行融合处理。
本发明所述的一种智能机器人室内自主导航系统,包括:
传感器采集模块,用于采集周围环境图像的机器人位姿,包括深度相机、激光雷达和轮式里程计;
数据提取模块,用于提取深度相机的内外参矩阵的特征点;
初步校准模块,通过卡尔曼滤波法对激光雷达和轮式里程计的数据进行校准,得到 机器人位姿;
数据融合模块,利用视觉基准库对经过数据提取模块和初步校准模块处理后的数据 进行融合校准,采用贝叶斯估计识别障碍物并进行数据融合,生成供机器人自主导航的地图。
本发明所述的一种计算机存储介质上存储有计算机程序,所述计算机程序被处理器 执行时,实现本发明所述的智能机器人室内自主导航方法的步骤。
有益效果:本发明与现有技术相比的优点在于:自主导航的精确性高,结合张正阳标定法、视觉基准库、卡尔曼滤波法和贝叶斯估计多种方法的思想对数据进行多次融合 校准,同时对融合校准的方法进行修正,进一步提高数据校准和融合的精度,保证结果 的准确性。
附图说明
图1为本发明的导航方法流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示,本发明所述的智能机器人室内自主导航方法,包括如下步骤:
(1)首先提取深度相机的相关数值,在相机成像的基础上通过Apriltag和张正友标定法对深度相机关键数据进行位姿结算,随后提取关键数据。
为了求得深度相机在实际成像中的像素,设坐标系内存在一点O,将x轴和y轴上的物理焦距长度用fi和fj表示,单位为像素;将O点矫正后的位置用wi,wj表示,此时就 能首先获得深度相机的内参值K,其可以表示为:
随后通过视觉基准库(Apriltag)对其进行优化,通过帧间运动的值,求出深度相机的外参和更加精确的内参。
(11)在深度相机测量中选择一点O,随后将其坐标设为[i,j]T;
(12)将深度相机的内参K和矫正点位置(wi,wj)进行结合得到该点实际坐标,
(13)利用Apriltag计算深度相机内外参。
(2)利用卡尔曼滤波法检验轮式里程计与激光雷达的数据。
由于激光雷达的精确性高于轮式里程计,所以将轮式里程计的测量结果作为预测值。 将时刻值设为k,将k时刻的位姿定为[xk,yk,θk]T一共进行五步计算和分析。
(21)此阶段为预测阶段,此阶段计算轮式里程计的测量值Lk+1。将k+1这一时刻 的智能机器人位姿表示为xk+1=f(xk,yk)+θk,以此得到的雅可比矩阵为:
(22)此阶段为观测阶段,此阶段将计算激光雷达的位姿观测值:Gk+1=xk+1Lk+1;
(23)此阶段为观测的预测阶段,此阶段计算轮式里程计的位姿观测值:
(24)此阶段为数据关联阶段,解决轮式里程计与激光雷达的关联性问题。
这一阶段将通过比较Gk+1与L′k+1的马氏距离来测算两者之间的关联性问题,以便完 成数据更新。Wk为偏差数值,∝2为设置的阈值,当公式结果小于阈值时,关联性高, 继续执行步骤(25),否则返回步骤(21)。
Wk=Gk+1-L′k+1
(25)此阶段为更新阶段。
(3)利用Apriltag对深度相机处理结果和轮式里程计与激光雷达数据融合与校准结果进行校准整合。
(31)先根据旋转约束,标定出横滚角、俯仰角。具体为,将xk+1与ck+1表示为k+1 时刻的位姿与距离变化,将深度相机的内外参表示为m1,m2,轮式里程计的内外参表示为n1,n2,将约束式记为xk+1m1n2=ck+1m2n1,则可以估计横滚角、俯仰角。
(32)将深度相机计算结果由相机坐标系平移应用到整体坐标系之中。
(33)利用Apriltag和深度相机的内外参重新计算求得轮式里程计与激光雷达的内 参与外参。
(34)将计算结果重新进行步骤1、2、3,进而发现存在较高误差的数据,进行多 次重复,直到数据的精度为95%以上,保证整体进程的准确性。
(35)将所得数据结果进行非线性优化,采用最小二乘法更新和优化所有参数。
(4)贝叶斯估计可以实现高度的数据融合,所以采用贝叶斯估计作为本文最后数据融合的所选方法。
问题定义:假设传感器做出的决策数量集为A,共有a个,表示为A1,A2……Aa, 由传感器获得的外界信息的数量集为B,共有b个,表示为B1,B2……Bb。接下来通过 集合A来验证集合B的后验概率值,并写为p(As|Bt):
范围区间R为[0.5,1),即若p(As|Bt)的极大值在[0.5,1)的区间内,说明由传感器收集信息所作的假设成立。
(41)对校准整合后的数据提出假设,将每一个假设的概率记为p(As|Bt),计算后验概率。
(42)选取所得结果的极大值与范围区间进行比较,若结果在范围区间内,则说明假设成立,若不成立,重新收集数据并从步骤(1)开始重新计算。
(43)将从轮式里程计和激光雷达传感器收集的信息与深度相机的图像进行比较,选取特征点,以便估算出其在相机坐标系的坐标,进而测算其与相机坐标系原点的距离。
(44)将其与贝叶斯估计的结果进行融合处理。
(5)基于图优化的方法构建地图,当与仿真地图对比误差不超过98%时则构建成功,若导航地图构建成功则输出地图,若构建导航地图失败则返回步骤(1)重新开始。 否则输出处理、融合后的地图,供智能机器人自主导航使用。
Claims (10)
1.一种智能机器人室内自主导航方法,其特征在于,包括如下步骤:
(1)深度相机采集环境图像,提取深度相机的内外参矩阵;
(2)激光雷达扫描周围环境,轮式里程计利用光电编码器进行自身定位,采用卡尔曼滤波法对激光雷达和轮式里程计的数据进行初步校准,获取机器人位姿;
(3)利用视觉基准库对深度相机内外参矩阵和步骤(2)得到的初步校准结果进行校准整合;
(4)用贝叶斯估计对融合校准后的数据进行数据融合,识别环境中的障碍物信息,构建导航地图,机器人按照地图进行自主导航。
2.根据权利要求1所述的智能机器人室内自主导航方法,其特征在于,所述步骤(1)提取深度相机的内外参矩阵的方法为:利用深度相机内一点坐标和矫正后的位置坐标计算该点实际坐标,利用视觉基准库计算深度相机的内外参矩阵。
4.根据权利要求1所述的智能机器人室内自主导航方法,其特征在于,所述步骤(3)进行校准整合的方法为:
(31)通过估计机器人的横滚角和俯仰角校正激光雷达和轮式里程计的内外参矩阵;
(32)将深度相机的实际坐标点平移至机器人坐标系;
(33)利用视觉基准库和深度相机的内外参重新计算轮式里程计与激光雷达的内外参矩阵,直至两次计算结果的误差小于5%,再进行非线性优化,否则返回步骤(31)重新计算。
5.根据权利要求1所述的智能机器人室内自主导航方法,其特征在于,所述步骤(4)进行数据融合的方法为:计算融合校准后数据的后验概率,若后验概率的极大值不在阈值区间范围内,则返回步骤(1),否则将步骤(3)中校准整合后的数据与深度相机采集的图像进行比较,选取特征点,计算轮式里程计与激光雷达与深度相机坐标系原点的距离,并与贝叶斯估计的结果进行融合处理。
7.一种智能机器人室内自主导航系统,其特征在于,包括:
传感器采集模块,用于采集周围环境图像的机器人位姿,包括深度相机、激光雷达和轮式里程计;
数据提取模块,用于提取深度相机的内外参矩阵的特征点;
初步校准模块,通过卡尔曼滤波法对激光雷达和轮式里程计的数据进行校准,得到机器人位姿;
数据融合模块,利用视觉基准库对经过数据提取模块和初步校准模块处理后的数据进行融合校准,采用贝叶斯估计识别障碍物并进行数据融合,生成供机器人自主导航的地图。
8.根据权利要求7所述的智能机器人室内自主导航系统,其特征在于,所述数据提取模块通过视觉基准库和张正友标定法提取深度相机的内外参矩阵。
9.根据权利要求7所述的智能机器人室内自主导航系统,其特征在于,所述初步校准模块通过将轮式里程计是测量结果作为预测值,计算激光雷达和轮式里程计的位姿观测值及其马氏距离,进而通过卡尔曼滤波法更新机器人的位姿。
10.一种计算机存储介质,所述计算机存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1-6中任意一项所述的智能机器人室内自主导航方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111386160.0A CN114111791B (zh) | 2021-11-22 | 2021-11-22 | 一种智能机器人室内自主导航方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111386160.0A CN114111791B (zh) | 2021-11-22 | 2021-11-22 | 一种智能机器人室内自主导航方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114111791A true CN114111791A (zh) | 2022-03-01 |
CN114111791B CN114111791B (zh) | 2024-05-17 |
Family
ID=80439162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111386160.0A Active CN114111791B (zh) | 2021-11-22 | 2021-11-22 | 一种智能机器人室内自主导航方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114111791B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116148824A (zh) * | 2023-04-17 | 2023-05-23 | 机科发展科技股份有限公司 | 一种激光无人叉车导航参数自动校准系统及方法 |
CN117968667A (zh) * | 2024-04-02 | 2024-05-03 | 国网江苏省电力有限公司常州供电分公司 | 巡检机器人回环检测的slam点云地图构建方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109341694A (zh) * | 2018-11-12 | 2019-02-15 | 哈尔滨理工大学 | 一种移动探测机器人的自主定位导航方法 |
CN109900280A (zh) * | 2019-03-27 | 2019-06-18 | 浙江大学 | 一种基于自主导航的畜禽信息感知机器人与地图构建方法 |
US20190204427A1 (en) * | 2017-12-28 | 2019-07-04 | Lyft, Inc. | Sensor calibration facility |
WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人(深圳)有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
CN110262495A (zh) * | 2019-06-26 | 2019-09-20 | 山东大学 | 可实现移动机器人自主导航与精确定位的控制系统及方法 |
CN111766603A (zh) * | 2020-06-27 | 2020-10-13 | 长沙理工大学 | 基于AprilTag码视觉辅助定位的移动机器人激光SLAM方法、系统、介质及设备 |
CN112254729A (zh) * | 2020-10-09 | 2021-01-22 | 北京理工大学 | 一种基于多传感器融合的移动机器人定位方法 |
CN112525202A (zh) * | 2020-12-21 | 2021-03-19 | 北京工商大学 | 一种基于多传感器融合的slam定位导航方法及系统 |
CN113253297A (zh) * | 2021-06-21 | 2021-08-13 | 中国人民解放军国防科技大学 | 融合激光雷达和深度相机的地图构建方法及装置 |
-
2021
- 2021-11-22 CN CN202111386160.0A patent/CN114111791B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190204427A1 (en) * | 2017-12-28 | 2019-07-04 | Lyft, Inc. | Sensor calibration facility |
WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人(深圳)有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
CN109341694A (zh) * | 2018-11-12 | 2019-02-15 | 哈尔滨理工大学 | 一种移动探测机器人的自主定位导航方法 |
CN109900280A (zh) * | 2019-03-27 | 2019-06-18 | 浙江大学 | 一种基于自主导航的畜禽信息感知机器人与地图构建方法 |
CN110262495A (zh) * | 2019-06-26 | 2019-09-20 | 山东大学 | 可实现移动机器人自主导航与精确定位的控制系统及方法 |
CN111766603A (zh) * | 2020-06-27 | 2020-10-13 | 长沙理工大学 | 基于AprilTag码视觉辅助定位的移动机器人激光SLAM方法、系统、介质及设备 |
CN112254729A (zh) * | 2020-10-09 | 2021-01-22 | 北京理工大学 | 一种基于多传感器融合的移动机器人定位方法 |
CN112525202A (zh) * | 2020-12-21 | 2021-03-19 | 北京工商大学 | 一种基于多传感器融合的slam定位导航方法及系统 |
CN113253297A (zh) * | 2021-06-21 | 2021-08-13 | 中国人民解放军国防科技大学 | 融合激光雷达和深度相机的地图构建方法及装置 |
Non-Patent Citations (1)
Title |
---|
高嘉瑜;袁苏哲;景鑫;李阳;: "基于AprilTag二维码的无人机着陆引导方法", 现代导航, no. 01, 15 February 2020 (2020-02-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116148824A (zh) * | 2023-04-17 | 2023-05-23 | 机科发展科技股份有限公司 | 一种激光无人叉车导航参数自动校准系统及方法 |
CN117968667A (zh) * | 2024-04-02 | 2024-05-03 | 国网江苏省电力有限公司常州供电分公司 | 巡检机器人回环检测的slam点云地图构建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114111791B (zh) | 2024-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111561923B (zh) | 基于多传感器融合的slam制图方法、系统 | |
WO2021233029A1 (en) | Simultaneous localization and mapping method, device, system and storage medium | |
CN111795686B (zh) | 一种移动机器人定位与建图的方法 | |
CN110570449B (zh) | 一种基于毫米波雷达与视觉slam的定位与建图方法 | |
KR101965965B1 (ko) | 위성영상과 제공 rpc로부터 제작된 수치표고모델의 자동 오차보정 방법 | |
JP6456141B2 (ja) | 地図データの生成 | |
CN112183171A (zh) | 一种基于视觉信标建立信标地图方法、装置 | |
CN114111791B (zh) | 一种智能机器人室内自主导航方法、系统及存储介质 | |
CN111044037B (zh) | 一种光学卫星影像的几何定位方法及装置 | |
CN114494629A (zh) | 一种三维地图的构建方法、装置、设备及存储介质 | |
CN115451948A (zh) | 一种基于多传感器融合的农业无人车定位里程计方法及系统 | |
CN112270698A (zh) | 基于最邻近曲面的非刚性几何配准方法 | |
CN114442133A (zh) | 无人机定位方法、装置、设备及存储介质 | |
CN114943952A (zh) | 多相机重叠视域下障碍物融合方法、系统、设备和介质 | |
CN110030968B (zh) | 一种基于星载立体光学影像的地面遮挡物仰角测量方法 | |
Tu et al. | Multi-camera-lidar auto-calibration by joint structure-from-motion | |
Chang et al. | Robust accurate LiDAR-GNSS/IMU self-calibration based on iterative refinement | |
CN111611525B (zh) | 基于物方匹配高程偏差迭代修正的遥感数据高程解算方法 | |
CN116203544A (zh) | 一种移动测量系统往返测回无控自检校方法、装置及介质 | |
CN115166701B (zh) | 一种rgb-d相机和激光雷达的系统标定方法及装置 | |
CN114004949B (zh) | 机载点云辅助的移动测量系统安置参数检校方法及系统 | |
CN105093222A (zh) | 一种sar影像区域网平差连接点自动提取方法 | |
Pan et al. | LiDAR-IMU Tightly-Coupled SLAM Method Based on IEKF and Loop Closure Detection | |
CN117433511B (zh) | 一种多传感器融合定位方法 | |
CN115077467B (zh) | 清洁机器人的姿态估计方法、装置及清洁机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |