CN112596070A - 一种基于激光及视觉融合的机器人定位方法 - Google Patents

一种基于激光及视觉融合的机器人定位方法 Download PDF

Info

Publication number
CN112596070A
CN112596070A CN202011593913.0A CN202011593913A CN112596070A CN 112596070 A CN112596070 A CN 112596070A CN 202011593913 A CN202011593913 A CN 202011593913A CN 112596070 A CN112596070 A CN 112596070A
Authority
CN
China
Prior art keywords
positioning
robot
point
laser
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011593913.0A
Other languages
English (en)
Other versions
CN112596070B (zh
Inventor
钟华刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siyecao Suzhou Intelligent Technology Co ltd
Original Assignee
Siyecao Suzhou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siyecao Suzhou Intelligent Technology Co ltd filed Critical Siyecao Suzhou Intelligent Technology Co ltd
Priority to CN202011593913.0A priority Critical patent/CN112596070B/zh
Publication of CN112596070A publication Critical patent/CN112596070A/zh
Application granted granted Critical
Publication of CN112596070B publication Critical patent/CN112596070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier

Abstract

本发明涉及的一种基于激光及视觉融合的机器人定位方法，包括以下步骤：标记点的固定：在应用场景中适当的位置部署标记点，保证机器人运行过程中能够至少扫描到3个以上的标记点，并将所有标记点录入到计算模型中；标记点识别：将机器人扫描到的标记点导入到计算模型中，通过三角定位的原理，计算机器人的的位置信息，作为粗定位的结果，并作为精定位的初始估计位姿；精确定位：根据初始估计位姿和通过激光传感器扫描获得的点云数据进行迭代搜索，计算出机器人的精确位置。本发明的有益之处在于，由于标记点的位置的固定的，能够提高定位算法的稳定性，提高算法的定位效率；避免了重复的建图，能够减少人员、资源和时间的消耗。

Description

一种基于激光及视觉融合的机器人定位方法
技术领域
本发明涉及了一种机器人定位技术领域，特别涉及一种基于激光及视觉融合的机器人定位方法。
背景技术
在机器人自然导航中，一般是采用激光SLAM的方式进行定位与导航，通过激光扫描周围的点云信息，通过与上一时刻的点云信息进行旋转匹配，计算出相对于上一时刻的平移旋转矩阵，进而通过上一时刻的位置信息计算当前时刻的位置信息。目前定位是采用的相对定位的原理，定位的精度及复杂度大幅度依赖于上一时刻的定位精度及环境复杂度，在环境信息较为相似或变化较多时，无法实现精定位，通过重新建图的方式可以解决该问题。
机器人实际应用场景中，环境的变化是必然存在的，且是无规律的、不可预知的，现有的方式需要不定期的重新建图，修正地图中的信息，将变化的信息重新录入到方法中，需要大量的维护工作；除此之外，环境的相似使得方法无法准确的定位当前位置，一旦上一时刻的位置丢失或者精度缺失，会导致无法定位出准确的位置。
发明内容
为了克服现有技术中的缺陷，本发明实施例提供了一种基于激光及视觉融合的机器人定位方法，它能够在周边环境发生变化或环境相似时仍能准确的对机器人的位置进行快速定位，克服现有技术中需要不定期的重新建图和环境的相似使得方法无法准确的定位的缺陷。
本申请实施例公开了：一种基于激光及视觉融合的机器人定位方法，包括以下步骤：
标记点的固定：在应用场景中适当的位置部署标记点，保证机器人运行过程中能够至少扫描到3个以上的标记点，并将所有标记点录入到计算模型中；
标记点识别：将机器人扫描到的标记点导入到计算模型中，通过三角定位的原理，计算机器人的的位置信息，作为粗定位的结果，并作为精定位的初始估计位姿；
精确定位：根据初始估计位姿和通过激光传感器扫描获得的点云数据进行迭代搜索，计算出机器人的精确位置。
进一步地，所述标记点的固定为在应用场景中适当的位置部署二维码，保证机器人运行过程中能够至少扫描到3个以上的二维码，视觉传感器在机器人的位置与二维码部署位置在同一个平面。
进一步地，所述标记点识别包括通过视觉传感器扫描二维码的信息及相对于视觉传感器的相对距离，选取距离最近的3个二维码信息，并根据相对距离计算出二维码的相对布局，并根据计算模型中提前录入的二维码信息进行匹配，采用提前录入的二维码的位置信息替换视觉传感器采集的位置信息，并通过三角定位的原理，计算机器人的位置信息，作为粗定位的结果，并作为精定位的初始估计位姿。
进一步地，所述精确定位包括：基于粗匹配的定位结果，确定当前的区域，估计当前扫描的位姿；将激光传感器扫描的点云和参考点云均转换到世界坐标系下，根据关联点选取规则，计算当前点云和参考点云的关联点集合，进而计算平移旋转矩阵，使得关联点之间匹配误差的距离平方和达到最小值，根据计算出的平移旋转矩阵，更新估计位姿，不断迭代此过程，直到算法收敛。
进一步地，所述关联点的选取规则为：随机选取一个关联点作为最优关联点，然后从上一个最优关联点开始，计算其相邻接的两个点与当前扫描数据的关联程度，从两个邻接点选择关联程度大的点，判断搜索的点是否超过最大距离或者最大角度阈值，如果不是则将该点设置为下一次搜索的起点，开始下一次搜索，否则从起始时刻搜索的反方向进行第二次搜索。
进一步地，所述标记点为磁钉、射频标签、二维码、蓝牙定位芯片、网络定位芯片中的一种或几种的组合。
进一步地，还包括滤除动态障碍物，采用卡尔曼滤波过滤过滤数据中的异常值。
本发明的有益之处在于：本发明涉及的基于激光及视觉融合的机器人定位方法，由于标记点的位置的固定的，能够提高定位算法的稳定性，提高算法的定位效率；避免了重复的建图，能够减少人员、资源和时间的消耗；不受相似环境的限制，能够提高算法在实际应用场景的适用性，降低应用门槛。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于激光及视觉融合的机器人定位方法的现场流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明一较佳实施例中的基于激光及视觉融合的机器人定位方法，包括：
(1)、在实际应用场景中适当的位置部署二维码，保证机器人运行过程中能够至少扫描到3个以上的二维码，视觉传感器在机器人的位置与二维码部署位置在同一个平面，具体的位置根据实际应用场景确定；
(2)、通过视觉传感器扫描二维码的信息及相对于视觉传感器的相对距离，选取距离最近的3个二维码信息，并根据相对距离计算出二维码的相对布局；
(3)、根据计算模型中提前录入的二维码信息进行匹配，采用提前录入的二维码的位置信息替换视觉传感器采集的位置信息，并通过三角定位的原理，计算机器人的位置信息，作为粗定位的结果，并作为精定位的初始估计位姿qk＝(tk,θk)，
激光传感器扫描周围环境，滤波处理后形成点云数据；根据当前的估计位姿qk＝(tk,θk)，计算第二次扫描的点在第一次扫描的参考标准中的相应变形，
Figure BDA0002869825430000031
其中：pi表示yt中第i个数据在极坐标系下的坐标；
(4)、对每一个点
Figure BDA0002869825430000032
找出第一次扫描中与它对应的最近的两个点，用
Figure BDA0002869825430000033
和
Figure BDA0002869825430000034
表示他们的坐标,Ck是步骤k里所有点到线段对对应元组的集合，也就是说Ck是三元组
Figure BDA0002869825430000035
的集合，三元组
Figure BDA0002869825430000036
表示点i与线段
Figure BDA0002869825430000037
匹配；
(5)、滤除动态障碍物，采用卡尔曼滤波过滤过滤数据中的异常值，系统状态方程和观测方程分别为Xk+1＝Φk+1，kXk+Wk和Zk＝HkXk+Vk，其中，Xk表示系统n维状态向量，Zk是m维观测向量，Wk和Vk是均值为零、协方差矩阵分别为Qk和Rk的相互独立的正太白噪声；
(6)、重写误差方程：
Figure BDA0002869825430000038
其中，J(qk+1,Ck)表示从点i到包含线段
Figure BDA0002869825430000039
的直线的距离平方和。
最小化误差函数得到qk+1。
如果k<0或者检测到收敛，则精定位完成，否则重新对二维码进行扫描。
参照图1，在机器人现场定位过程中，包括以下步骤：
A1、通过传感器模型，获取传感器数据；
A2、判断获取传感器数据是否成功，当判断传感器数据获取成功时，继续进行下一步，否则，判断是否需要结束定位过程，如仍需定位，则返回步骤“A1”；
A3、通过视觉传感器获取二维码的相对位置信息；
A4、采用提前录入的二维码的位置信息替换视觉传感器采集的位置信息，并通过三角定位的原理，计算机器人的位置信息，作为粗定位的结果，并作为精定位的初始估计位姿；
A5、判断粗定位是否成功，如果成功，则继续进行下一步，否则，判断是否需要结束定位过程，如仍需定位，则返回步骤“A1”；
A6、结合激光传感器扫描数据和粗定位数据对机器人进行精确定位；
A7、判断精定位是否成功，如果成功，则继续进行下一步，否则，判断是否需要结束定位过程，如仍需定位，则返回步骤“A1”；
A8、滤除动态障碍物，并存储环境信息；
A9、采用卡尔曼滤波过滤过滤数据中的异常值，修正定位结果；
A10、判断是否需要结束定位，如仍需定位，则返回步骤“A1”。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于激光及视觉融合的机器人定位方法，其特征在于，包括以下步骤：
标记点的固定：在应用场景中适当的位置部署标记点，保证机器人运行过程中能够至少扫描到3个以上的标记点，并将所有标记点录入到计算模型中；
标记点识别：将机器人扫描到的标记点导入到计算模型中，通过三角定位的原理，计算机器人的的位置信息，作为粗定位的结果，并作为精定位的初始估计位姿；
精确定位：根据初始估计位姿和通过激光传感器扫描获得的点云数据进行迭代搜索，计算出机器人的精确位置。
2.根据权利要求1所述的基于激光及视觉融合的机器人定位方法，其特征在于，所述标记点的固定为在应用场景中适当的位置部署二维码，保证机器人运行过程中能够至少扫描到3个以上的二维码，视觉传感器在机器人的位置与二维码部署位置在同一个平面。
3.根据权利要求2所述的于激光及视觉融合的机器人定位方法，其特征在于，所述标记点识别包括通过视觉传感器扫描二维码的信息及相对于视觉传感器的相对距离，选取距离最近的3个二维码信息，并根据相对距离计算出二维码的相对布局，并根据计算模型中提前录入的二维码信息进行匹配，采用提前录入的二维码的位置信息替换视觉传感器采集的位置信息，并通过三角定位的原理，计算机器人的位置信息，作为粗定位的结果，并作为精定位的初始估计位姿。
4.根据权利要求1所述的基于激光及视觉融合的机器人定位方法，其特征在于，所述精确定位包括：基于粗匹配的定位结果，确定当前的区域，估计当前扫描的位姿；将激光传感器扫描的点云和参考点云均转换到世界坐标系下，根据关联点选取规则，计算当前点云和参考点云的关联点集合，进而计算平移旋转矩阵，使得关联点之间匹配误差的距离平方和达到最小值，根据计算出的平移旋转矩阵，更新估计位姿，不断迭代此过程，直到算法收敛。
5.根据权利要求4所述的基于激光及视觉融合的机器人定位方法，其特征在于，所述关联点的选取规则为：随机选取一个关联点作为最优关联点，然后从上一个最优关联点开始，计算其相邻接的两个点与当前扫描数据的关联程度，从两个邻接点选择关联程度大的点，判断搜索的点是否超过最大距离或者最大角度阈值，如果不是则将该点设置为下一次搜索的起点，开始下一次搜索，否则从起始时刻搜索的反方向进行第二次搜索。
6.根据权利要求1所述的基于激光及视觉融合的机器人定位方法，其特征在于，所述标记点为磁钉、射频标签、二维码、蓝牙定位芯片、网络定位芯片中的一种或几种的组合。
7.根据权利要求1所述的基于激光及视觉融合的机器人定位方法，其特征在于，还包括滤除动态障碍物，采用卡尔曼滤波过滤过滤数据中的异常值。
CN202011593913.0A 2020-12-29 2020-12-29 一种基于激光及视觉融合的机器人定位方法 Active CN112596070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011593913.0A CN112596070B (zh) 2020-12-29 2020-12-29 一种基于激光及视觉融合的机器人定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011593913.0A CN112596070B (zh) 2020-12-29 2020-12-29 一种基于激光及视觉融合的机器人定位方法

Publications (2)

Publication Number Publication Date
CN112596070A true CN112596070A (zh) 2021-04-02
CN112596070B CN112596070B (zh) 2024-04-19

Family

ID=75203560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011593913.0A Active CN112596070B (zh) 2020-12-29 2020-12-29 一种基于激光及视觉融合的机器人定位方法

Country Status (1)

Country Link
CN (1) CN112596070B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167814A1 (en) * 2006-12-01 2008-07-10 Supun Samarasekera Unified framework for precise vision-aided navigation
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
CN106372702A (zh) * 2016-09-06 2017-02-01 深圳市欢创科技有限公司 一种定位标识及其定位方法
CN107422735A (zh) * 2017-07-29 2017-12-01 深圳力子机器人有限公司 一种无轨导航agv激光与视觉特征混合导航方法
US20180075643A1 (en) * 2015-04-10 2018-03-15 The European Atomic Energy Community (Euratom), Represented By The European Commission Method and device for real-time mapping and localization
CN109100731A (zh) * 2018-07-17 2018-12-28 重庆大学 一种基于激光雷达扫描匹配算法的移动机器人定位方法
WO2019034115A1 (zh) * 2017-08-16 2019-02-21 北京极智嘉科技有限公司 结合标识的同时定位和地图创建导航方法、装置及系统
CN109556616A (zh) * 2018-11-09 2019-04-02 同济大学 一种基于视觉标记的自动建图机器人建图修整方法
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
CN110345937A (zh) * 2019-08-09 2019-10-18 东莞市普灵思智能电子有限公司 一种基于二维码的导航定姿定位方法和系统
CN110567441A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111337943A (zh) * 2020-02-26 2020-06-26 同济大学 一种基于视觉引导激光重定位的移动机器人定位方法
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN111929694A (zh) * 2020-10-12 2020-11-13 炬星科技（深圳）有限公司 点云匹配方法、设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167814A1 (en) * 2006-12-01 2008-07-10 Supun Samarasekera Unified framework for precise vision-aided navigation
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
US20180075643A1 (en) * 2015-04-10 2018-03-15 The European Atomic Energy Community (Euratom), Represented By The European Commission Method and device for real-time mapping and localization
CN106372702A (zh) * 2016-09-06 2017-02-01 深圳市欢创科技有限公司 一种定位标识及其定位方法
CN107422735A (zh) * 2017-07-29 2017-12-01 深圳力子机器人有限公司 一种无轨导航agv激光与视觉特征混合导航方法
WO2019034115A1 (zh) * 2017-08-16 2019-02-21 北京极智嘉科技有限公司 结合标识的同时定位和地图创建导航方法、装置及系统
CN109100731A (zh) * 2018-07-17 2018-12-28 重庆大学 一种基于激光雷达扫描匹配算法的移动机器人定位方法
CN109556616A (zh) * 2018-11-09 2019-04-02 同济大学 一种基于视觉标记的自动建图机器人建图修整方法
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
CN110567441A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN110345937A (zh) * 2019-08-09 2019-10-18 东莞市普灵思智能电子有限公司 一种基于二维码的导航定姿定位方法和系统
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111337943A (zh) * 2020-02-26 2020-06-26 同济大学 一种基于视觉引导激光重定位的移动机器人定位方法
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN111929694A (zh) * 2020-10-12 2020-11-13 炬星科技（深圳）有限公司 点云匹配方法、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUERRA ET AL.: "UAV Visual and Laser Sensors Fusion for Detection and Positioning in Industrial Applications", SENSORS, vol. 18, no. 7, 28 June 2018 (2018-06-28) *
何珍;楼佩煌;钱晓明;武星;朱立群;: "多目视觉与激光组合导航AGV精确定位技术研究", 仪器仪表学报, no. 11, 30 November 2017 (2017-11-30) *
张恺;伍法权;沙鹏;邱淑豪;: "基于无人机倾斜摄影的矿山边坡岩体结构编录方法与工程应用", 工程地质学报, no. 06, 31 December 2019 (2019-12-31) *
罗真;曹其新;: "基于视觉和里程计信息融合的移动机器人自定位", 机器人, no. 03, 28 May 2006 (2006-05-28) *

Also Published As

Publication number Publication date
CN112596070B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN107122705B (zh) 基于三维人脸模型的人脸关键点检测方法
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US7333631B2 (en) Landmark, apparatus, and method for effectively determining position of autonomous vehicles
CN107688665B (zh) 一种室内地图自动构建方法、装置及存储介质
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
CN116255992A (zh) 一种同时定位与建图的方法和装置
CN115774265B (zh) 用于工业机器人的二维码和激光雷达融合定位方法与装置
JPWO2018207426A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108960267A (zh) 用于模型调整的系统和方法
CN111400830A (zh) 一种三维毛坯工件的加工校准方法及装置
CN111354022A (zh) 基于核相关滤波的目标跟踪方法及系统
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
CN112154429B (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN111915661B (zh) 基于ransac算法的点云配准方法、系统及计算机可读存储介质
CN112596070A (zh) 一种基于激光及视觉融合的机器人定位方法
KR101961171B1 (ko) 실내 환경에서 이동하는 로봇의 전역적 자기 위치 추정 시스템 및 이를 이용한 전역적 자기 위치 추정 방법
Agouris et al. Automated spatiotemporal change detection in digital aerial imagery
CN111283730B (zh) 基于点线特征机器人初始位姿获取方法及开机自定位方法
JPH07146121A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN111583331B (zh) 用于同时定位和地图构建的方法及装置
CN110686687B (zh) 视觉机器人构建地图的方法、机器人和芯片
CN112258391B (zh) 一种基于道路交通标线的碎片化地图拼接方法
CN115700796A (zh) 模型生成方法、模型生成装置、非瞬时性存储介质、移动体姿势推定方法及其推定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant