CN109141437B - 一种机器人全局重定位方法 - Google Patents

一种机器人全局重定位方法 Download PDF

Info

Publication number
CN109141437B
CN109141437B CN201811159891.XA CN201811159891A CN109141437B CN 109141437 B CN109141437 B CN 109141437B CN 201811159891 A CN201811159891 A CN 201811159891A CN 109141437 B CN109141437 B CN 109141437B
Authority
CN
China
Prior art keywords
robot
global
probability
pose
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811159891.XA
Other languages
English (en)
Other versions
CN109141437A (zh
Inventor
杨记周
高放
潘宏青
许玉云
骆永乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN201811159891.XA priority Critical patent/CN109141437B/zh
Publication of CN109141437A publication Critical patent/CN109141437A/zh
Application granted granted Critical
Publication of CN109141437B publication Critical patent/CN109141437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人全局重定位方法，属于机器人技术领域，包括开始机器人在所有位置具有相同的概率分布；机器人通过携带激光雷达实时获取机器人周围的环境信息并构建一张局部地图；使用图像匹配的方法，在全局地图中找到局部地图的可能位姿以及在可能位姿处的概率，并更新机器人在全局地图中的定位置信度；计算更新后的最大定位置信度与第二大定位置信度的差值，判断该差值是否大于设定的阈值，如果是，则定位完成，否则根据所述机器人携带的里程计数据，更新机器人定位置信度。本发明中机器人仅需要自身携带的传感器就能完成全局重定位，具有较高自主性和适应能力，且定位速度快，鲁棒性高。

Description

一种机器人全局重定位方法
技术领域
本发明涉及机器人技术领域，特别涉及一种机器人全局重定位方法。
背景技术
随着科技发展和生活水平的提高，在现实生活中越来越多的需要机器人代替人工完成一些简单重复性的工作，解决机器人“绑架”及重定位可以极大地扩展服务机器人的应用领域及提高用户的使用体验。
在现有解决机器人重定位的方案中，大多是通过在环境中贴二维码或者安装UWB等辅助设备实现机器人定位，或者需要人工指定一个或多个机器人可能的位置范围。这些方案大多需要改变机器人的运行环境，在一定程度上限制了机器人的使用范围，成本较高；而且通过人工干预的方式，没有真正实现机器人的自主化。
发明内容
本发明的目的在于提供一种机器人全局重定位方法，以避免改变机器人的运行环境。
为实现以上目的，本发明采用一种机器人全局重定位方法，所述机器人设有激光雷达和里程计，且所述机器人预存有其运行区域环境的全局地图，包括：
S1、设定在初始时刻，机器人在所述全局地图中所有位姿的概率服从均匀分布；
S2、利用所述激光雷达实时获取机器人周围的环境信息数据，并利用建图算法对机器人周围的环境信息数据进行处理，构建出机器人周围环境的局部地图；
S3、采用图像匹配算法在全局地图中匹配出局部地图的可能位姿以及可能位姿处的概率；
S4、利用可能位姿处的概率对上一时刻机器人在全局地图中同一位姿的定位置信度进行更新，并对更新后的各可能位姿的定位置信度进行归一化处理，将归一化后的概率分布作为后验值；
S5、计算后验值中最大定位置信度与第二大定位置信度的差值，判断该差值是否大于设定的阈值；
S6、若是，则机器人全局重定位完成；
S7、若否，则利用里程计采集的里程数据对所述后验值进行修正，然后执行步骤S2。
进一步地，所述利用可能位姿处的概率对机器人在全局地图中可能位姿的定位置信度进行更新，包括：
对所述可能位姿处的概率进行高斯处理；
将高斯处理后的可能位姿处概率与上一时刻同一位姿处的概率相乘或加权求和并作归一化处理，重新得到机器人在所述全局地图中位姿的概率分布。
进一步地，所述利用里程计采集的里程数据对所述后验值进行修正，包括：
根据所述里程计采集的里程数据，计算所述机器人的位移；
将所述各后验值跟随所述机器人位移作平移和旋转；
判断所述局部地图在所述全局地图中的可能位姿进入了全局地图中不可达区域，则将该后验值修正为最小值；
将修正后的后验值做归一化处理，并将处理结果作为机器人在所述全局地图中位姿的概率分布。
与现有技术相比，本发明存在以下技术效果：本发明首先通过激光雷达数据建立一幅局部地图，然后将局部地图与预先存储的全局地图进行匹配，在全局地图中找出机器人一个或多个可能位姿，并根据可能位姿的概率，建立机器人在全局地图中的概率分布。随着机器人的不断移动，利用机器人携带的里程计测量的里程数据不断对机器人在全局地图中的位姿进行滤波处理，最终确定机器人在全局地图中的真实位姿。整个机器人全局重定位过程自主性高、定位速度快、鲁棒性高，而且整个过程未对机器人所在的环境做出改变，也不需要人工干预，真正实现了机器人的自主化。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种机器人全局重定位方法的流程示意图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种机器人全局重定位方法，机器人设有激光雷达和里程计，且所述机器人预存有其运行区域环境的全局地图，包括步骤S1至S7：
S1、设定在初始时刻，机器人在所述全局地图中所有位姿的概率服从均匀分布；
需要说明的是，由于在初始时刻，机器人具有全局不确定性，此时假设机器人在全局中各个位姿的概率相等，以便于后期对各位姿概率进行更新。
S2、利用所述激光雷达实时获取机器人周围的环境信息数据，并利用建图算法对机器人周围的环境信息数据进行处理，构建出机器人周围环境的局部地图；
需要说明的是，采用和全局地图相同的尺度构建局部地图，以保证尺度不变，减少图像匹配复杂度。局部地图具体的构建过程为：
先初始化一张值为127(可以自定义)的灰度图；通过激光雷达得到点A(x0,y0)处为障碍物点，将线段(0，0)-(x0,y0)中的像素值赋为255(白色)，像素点A(x0,y0)的值赋为0(黑色)；对所有雷达数据进行同样的操作，就可得到一张以激光雷达为中心的局部地图。
S3、采用图像匹配算法在全局地图中匹配出局部地图的可能位姿以及可能位姿处的概率；
具体地，利用图像匹配算法，在全局地图中匹配出局部地图的可能位姿，局部地图与全局地图中部分区域的相似度越高，则概率越大。
本实施例可采用的图像匹配算法包括但不限于ORB、SURF、SIFT等，其中ORB算法速度较快，在实时图像匹配中，大多采用该算法。
S4、利用可能位姿处的概率对上一时刻机器人在全局地图中同一位姿的定位置信度进行更新，并对更新后的各可能位姿的定位置信度进行归一化处理，将归一化后的概率分布作为后验值；
需要说明的是，本实施例中将上一时刻机器人在全局地图中各位置的定位置信度当做先验值，将局部地图与全局地图匹配通过匹配得到的可能位姿处的概率作为观测值，将观测值和先验值进行相乘或加权求和并归一化后的结果作为后验值。其中，位姿概率指的是单一位姿的概率；定位置信度指的是概率分布，根据定位置信度可以得到任意位姿的概率。
S5、计算后验值中最大定位置信度与第二大定位置信度的差值，判断该差值是否大于设定的阈值；
需要说明的是，这里更新后的定位置信度即为后验值，该设定的阈值为本领域技术人员经过大量实验得出的一个用于与定位置信度差值进行比较的值比如0.8等，并将该阈值通过参数的形式预先设置在程序中，在使用时直接调用即可。
S6、若是，则机器人全局重定位完成；
S7、若否，则利用里程计采集的里程数据对所述后验值进行修正，然后执行步骤S2。
需要说明的是，通过对更新后的各可能位姿的定位置信度及后验值进行修正，对机器人在全局地图中的置信度分布作滤波处理，提高了机器人在全局地图中位姿定位的准确性。
进一步地，所述利用可能位姿处的概率对机器人在全局地图中可能位姿的定位置信度进行更新，包括：
对所述可能位姿处的概率进行高斯处理，其中高斯处理的均值和方差可以通过参数的形式预先设置在程序中，在进行高斯处理时直接调用即可；
需要说明的是，由于可能位姿处概率分布是通过激光雷达观测得到的，其概率属于二值分布。比如，通过激光雷达观测(即图像匹配)机器人位于A点，概率为0.8，那么在所有非A点的位姿概率为0.2，但是直观上，A点附近处的概率要大于距离A点较远处的概率，通过高斯处理(也即平滑处理)可以表示这一过程，可以设置高斯均值为0，方差通过用户指定。
将高斯处理后的可能位姿处概率与上一时刻同一位姿处的概率相乘或加权求和并作归一化处理，重新得到机器人在所述全局地图中位姿的概率分布。
进一步地，所述利用里程计采集的里程数据对所述后验值进行修正，包括：
根据所述里程计采集的里程数据，计算所述机器人的位移；
将所述各后验值跟随所述机器人位移作平移和旋转；
本实施例的平移旋转操作，比如t0时刻，A(x0,y0)点置信度为0.5，此时机器人向x轴方向移动0.1m，那么将A(x0+0.1,y0)点的置信度更新为0.5，其他做同样处理。
判断所述局部地图在所述全局地图中的可能位姿进入了全局地图中不可达区域，则将该后验值修正为最小值；其中该最小值为非0正数，该最小值也可通过参数的形式预先设置在程序中，在使用时直接调用即可；
将修正后的后验值做归一化处理，并将处理结果作为机器人在所述全局地图中位姿的概率分布。
本发明结合激光雷达和里程计，通过激光雷达获取的数据建立一幅局部地图，然后将局部地图与预先存储的全局地图进行匹配，在全局地图中找出机器人一个或多个可能位姿，并根据可能位姿的概率，建立机器人在全局地图中的概率分布。随着机器人的不断移动，利用机器人携带的里程计测量的里程数据不断对机器人在全局地图中的位姿进行滤波处理，最终确定机器人在全局地图中的真实位姿。整个机器人全局重定位过程未对机器人所在的环境做出改变，也不需要人工干预，真正实现了机器人的自主化。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种机器人全局重定位方法，其特征在于，所述机器人设有激光雷达和里程计，且所述机器人预存有其运行区域环境的全局地图，包括：
S1、设定在初始时刻，机器人在所述全局地图中所有位姿的概率服从均匀分布；
S2、利用所述激光雷达实时获取机器人周围的环境信息数据，并利用建图算法对机器人周围的环境信息数据进行处理，构建出机器人周围环境的局部地图；
S3、采用图像匹配算法在全局地图中匹配出局部地图的可能位姿以及可能位姿处的概率；
S4、利用可能位姿处的概率对上一时刻机器人在全局地图中同一位姿的定位置信度进行更新，并对更新后的各可能位姿的定位置信度进行归一化处理，将归一化后的概率分布作为后验值；
S5、计算后验值中最大定位置信度与第二大定位置信度的差值，判断该差值是否大于设定的阈值；
S6、若是，则机器人全局重定位完成；
S7、若否，则利用里程计采集的里程数据对所述后验值进行修正，然后执行步骤S2。
2.如权利要求1所述的机器人全局重定位方法，其特征在于，所述利用可能位姿处的概率对上一时刻机器人在全局地图中同一位姿的定位置信度进行更新，包括：
对所述可能位姿处的概率进行高斯处理；
将高斯处理后的可能位姿处概率与上一时刻同一位姿处的概率相乘或加权求和，重新得到机器人在所述全局地图中位姿的概率分布。
3.如权利要求2所述的机器人全局重定位方法，其特征在于，所述利用里程计采集的里程数据对所述后验值进行修正，包括：
根据所述里程计采集的里程数据，计算所述机器人的位移；
将所述各后验值跟随所述机器人位移作平移和旋转；
判断所述局部地图在所述全局地图中的可能位姿进入了全局地图中不可达区域，则将该后验值修正为最小值；
将修正后的后验值做归一化处理，并将处理结果作为机器人在所述全局地图中位姿的概率分布。
CN201811159891.XA 2018-09-30 2018-09-30 一种机器人全局重定位方法 Active CN109141437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811159891.XA CN109141437B (zh) 2018-09-30 2018-09-30 一种机器人全局重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811159891.XA CN109141437B (zh) 2018-09-30 2018-09-30 一种机器人全局重定位方法

Publications (2)

Publication Number Publication Date
CN109141437A CN109141437A (zh) 2019-01-04
CN109141437B true CN109141437B (zh) 2021-11-26

Family

ID=64814241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811159891.XA Active CN109141437B (zh) 2018-09-30 2018-09-30 一种机器人全局重定位方法

Country Status (1)

Country Link
CN (1) CN109141437B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246182B (zh) * 2019-05-29 2021-07-30 达闼机器人有限公司 基于视觉的全局地图定位方法、装置、存储介质和设备
CN110260859B (zh) * 2019-06-06 2022-12-13 哈尔滨工程大学 一种考虑数据关联间耦合关系的位姿图修正方法
CN110207710B (zh) * 2019-06-26 2021-03-16 北京小狗智能机器人技术有限公司 机器人重定位方法及装置
CN112119326A (zh) * 2019-07-31 2020-12-22 深圳市大疆创新科技有限公司 数据校正方法、移动平台及非易失性计算机可读存储介质
CN110456797B (zh) * 2019-08-19 2022-06-28 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法
CN112444820B (zh) * 2019-08-28 2023-06-09 深圳市优必选科技股份有限公司 一种机器人位姿确定方法、装置、可读存储介质及机器人
CN110530372B (zh) * 2019-09-26 2021-06-22 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质
CN111060135B (zh) * 2019-12-10 2021-12-17 亿嘉和科技股份有限公司 一种基于局部地图的地图修正方法及系统
CN111242159B (zh) * 2019-12-20 2024-04-16 广西柳州联耕科技有限公司 基于产品特征的图像识别与机器人自动定位方法
CN110986956B (zh) * 2019-12-23 2023-06-30 苏州寻迹智行机器人技术有限公司 一种基于改进的蒙特卡洛算法的自主学习全局定位方法
US11466992B2 (en) * 2020-03-02 2022-10-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, device and medium for detecting environmental change
CN111932451B (zh) * 2020-06-17 2023-11-10 珠海格力电器股份有限公司 重定位效果的评价方法、装置、电子设备和存储介质
CN114080625A (zh) * 2020-06-19 2022-02-22 深圳市大疆创新科技有限公司 绝对位姿确定方法、电子设备及可移动平台
EP4153940A4 (en) * 2020-07-09 2024-01-17 Zhejiang Dahua Technology Co SYSTEMS AND METHODS FOR ATTENTION DETERMINATION
CN111693053B (zh) * 2020-07-09 2022-05-06 上海大学 一种基于移动机器人的重定位方法及系统
WO2022021133A1 (zh) * 2020-07-29 2022-02-03 上海高仙自动化科技发展有限公司 计算机设备定位方法、装置、计算机设备和存储介质
CN112013845B (zh) * 2020-08-10 2022-04-22 北京轩宇空间科技有限公司 适应未知动态空间的快速地图更新方法、装置及存储介质
CN112461230B (zh) * 2020-12-07 2023-05-09 优必康(青岛)科技有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN112767476B (zh) * 2020-12-08 2024-04-26 中国科学院深圳先进技术研究院 一种快速定位系统、方法及应用
CN112904366B (zh) * 2021-03-19 2023-06-16 北京小狗吸尘器集团股份有限公司 应用于扫地机的重定位方法、装置、电子设备和介质
CN112956961B (zh) * 2021-03-19 2022-08-23 北京小狗吸尘器集团股份有限公司 扫地机器人及其重新定位方法、装置和存储介质
CN112986912B (zh) * 2021-03-19 2023-06-16 北京小狗吸尘器集团股份有限公司 基于结构光传感器的扫地机重定位方法、装置和电子设备
CN113191412A (zh) * 2021-04-25 2021-07-30 珠海格力电器股份有限公司 设备重定位方法、装置、计算机设备和存储介质
CN113607160B (zh) * 2021-08-24 2023-10-31 湖南国科微电子股份有限公司 视觉定位恢复方法、装置、机器人和可读存储介质
CN116817903B (zh) * 2023-08-24 2023-11-21 湖南大学 一种基于先验视觉引导的智能机器人全局定位方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2570772A1 (en) * 2011-09-16 2013-03-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for localisation and mapping of pedestrians or robots using wireless access points
WO2015158682A1 (en) * 2014-04-14 2015-10-22 Aldebaran Robotics A method for localizing a robot in a localization plane
CN105652871A (zh) * 2016-02-19 2016-06-08 深圳杉川科技有限公司 移动机器人的重定位方法
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN106323273A (zh) * 2016-08-26 2017-01-11 深圳微服机器人科技有限公司 一种机器人重定位方法及装置
CN107908185A (zh) * 2017-10-14 2018-04-13 北醒（北京）光子科技有限公司 一种机器人自主全局重定位方法及机器人
CN108169711A (zh) * 2017-12-18 2018-06-15 佛山市南海区广工大数控装备协同创新研究院 一种基于可见光的移动机器人马尔可夫定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10093021B2 (en) * 2015-12-02 2018-10-09 Qualcomm Incorporated Simultaneous mapping and planning by a robot

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2570772A1 (en) * 2011-09-16 2013-03-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for localisation and mapping of pedestrians or robots using wireless access points
WO2015158682A1 (en) * 2014-04-14 2015-10-22 Aldebaran Robotics A method for localizing a robot in a localization plane
CN105652871A (zh) * 2016-02-19 2016-06-08 深圳杉川科技有限公司 移动机器人的重定位方法
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN106323273A (zh) * 2016-08-26 2017-01-11 深圳微服机器人科技有限公司 一种机器人重定位方法及装置
CN107908185A (zh) * 2017-10-14 2018-04-13 北醒（北京）光子科技有限公司 一种机器人自主全局重定位方法及机器人
CN108169711A (zh) * 2017-12-18 2018-06-15 佛山市南海区广工大数控装备协同创新研究院 一种基于可见光的移动机器人马尔可夫定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Geometric Map-Assisted Localization for Mobile Robots Based on Uniform-Gaussian Distribution;Jiang Rui,etc;《IEEE ROBOTICS AND AUTOMATION LETTERS》;20170430;第2卷(第2期);第789-795页 *
一种改进的移动机器人自定位算法;张琪等;《武汉理工大学学报(信息与管理工程版)》;20141231;第36卷(第1期);第9-13页 *

Also Published As

Publication number Publication date
CN109141437A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109141437B (zh) 一种机器人全局重定位方法
CN108332758B (zh) 一种移动机器人的走廊识别方法及装置
CN109932713B (zh) 定位方法、装置、计算机设备、可读存储介质和机器人
US11474204B2 (en) Localization method and robot using the same
CN110319834B (zh) 一种室内机器人定位的方法及机器人
JP6773471B2 (ja) 自律移動体と環境地図更新装置
CN112967339B (zh) 一种车辆位姿的确定方法、车辆控制方法及装置、车辆
US20200233061A1 (en) Method and system for creating an inverse sensor model and method for detecting obstacles
CN112949366B (zh) 障碍物识别方法和装置
KR102063891B1 (ko) 추종 로봇 제어 방법과 시스템, 및 이를 수행하기 위한 컴퓨팅 장치
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN112817026A (zh) 运动对象的位姿确定方法、装置、设备及存储介质
Stachniss et al. Analyzing gaussian proposal distributions for mapping with rao-blackwellized particle filters
CN111546348A (zh) 机器人位置标定方法和位置标定系统
CN116337072A (zh) 一种工程机械的建图、方法、设备、及可读存储介质
CN113932799A (zh) 激光地图更新方法、系统、电子设备、介质及程序产品
CN113608170B (zh) 雷达标定方法、雷达、机器人、介质及计算机程序产品
CN114528941A (zh) 传感器数据融合方法、装置、电子设备及存储介质
US20230350418A1 (en) Position determination by means of neural networks
CN111626168B (zh) 手势识别方法、装置、设备和介质
CN112308917A (zh) 一种基于视觉的移动机器人定位方法
JPWO2011083665A1 (ja) 類似度算出装置、類似度算出方法、及びプログラム
CN110631586A (zh) 基于视觉slam的地图构建的方法、导航系统及装置
CN113052940B (zh) 一种基于声呐的时空关联地图实时构建方法
CN115575976A (zh) 沿边路径规划方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant