CN114147750B - 一种图像化感知压力的机器人触觉感知系统及触觉感知方法 - Google Patents
一种图像化感知压力的机器人触觉感知系统及触觉感知方法 Download PDFInfo
- Publication number
- CN114147750B CN114147750B CN202111470105.XA CN202111470105A CN114147750B CN 114147750 B CN114147750 B CN 114147750B CN 202111470105 A CN202111470105 A CN 202111470105A CN 114147750 B CN114147750 B CN 114147750B
- Authority
- CN
- China
- Prior art keywords
- module
- flexible
- wide
- robot
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 239000012780 transparent material Substances 0.000 claims abstract description 24
- 230000008447 perception Effects 0.000 claims abstract description 7
- 230000035807 sensation Effects 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 8
- 239000013307 optical fiber Substances 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000011217 control strategy Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000002834 transmittance Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/084—Tactile sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
- G01L1/241—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet by photoelastic stress analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Mechanical Engineering (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种图像化感知压力的机器人触觉感知系统。机器人触觉感知系统包括接触模块和感知模块；接触模块包括透明硬质支撑层，在透明硬质支撑层的外侧设有柔性半透光材料层，在柔性半透光材料层的外侧设有柔性发光层；感知模块包括用于从接触模块的背部获取光源图像的广角摄像模块；还包括从广角摄像模块接收光源图像并进行光斑分析的分析模块。本发明的机器人触觉感知系统结构设计合理，触觉感知效果好，有利于机器人系统进行智能学习。本发明还涉及一种图像化感知压力的机器人触觉感知方法，此机器人触觉感知方法基于前述机器人触觉感知系统。
Description
技术领域
本发明属于机器人触觉技术领域，尤其涉及一种图像化感知压力的机器人触觉感知系统，本发明还涉及一种机器人触觉感知方法。
背景技术
随着技术的长足发展，机器人技术被广泛地应用与当前的工业生产。基于机器人自动化技术的工业生产过程控制，与传统的人工生产过程相比，具有连续工作不疲累、生产过程精度高、生产成本降低等诸多优势，是未来工业生产的重要发展方向。机器人触觉是指机器人感知外部环境的手段，通过为机器人设置触觉感知手段，令机器人及其控制系统能够判断自身工况，并根据对工况的获取情况向机器人的动作端发出起停等指令。因此，机器人触觉感知手段类似于人类的感官，通过为机器人配置或者构建合适的触觉感知手段，能够提升机器人自身的智能性和运行稳定性、可靠性。
现有的机器人触觉感知手段通常基于各种传感器构建，典型的传感器是压力传感器，通过设置在特定位置的多个压力传感器产生的压力信号，实现对触觉的模拟。然而，压力传感器通常具有单一方向检测的工作特性，无法实现多方向的压力感知。这就导致现有的触觉感知手段感知能力受限。而随着机器人进入家用等更多复杂的应用场景，需要有满足机器人触觉皮肤的更好的技术手段，即现有的智能机器人有着更高的模拟触感需求。同时，前述基于压力传感器的触觉感知手段并不利于机器人自身的智能系统进行学习，这导致机器人的发展和使用受到限制。
因此，需要对机器人的触觉感知系统和触觉感知方法进行优化设计，以解决前述技术问题。
发明内容
本发明为解决公知技术中存在的技术问题而提供一种结构设计合理、触觉感知效果好、有利于机器人系统进行智能学习的图像化感知压力的机器人触觉感知系统。
本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种图像化感知压力的机器人触觉感知系统包括接触模块和感知模块；接触模块包括透明硬质支撑层，在透明硬质支撑层的外侧设有柔性半透光材料层，在柔性半透光材料层的外侧设有柔性发光层；感知模块包括用于从接触模块的背部获取光源图像的广角摄像模块；还包括从广角摄像模块接收光源图像并进行光斑分析的分析模块。
本发明的优点和积极效果是：
本发明提供了一种结构设计合理的机器人触觉感知系统，与现有基于压力传感器的机器人触觉感知系统相比，本发明中通过令触觉感知系统由接触模块和感知模块构成，实现了对机器人与外部物体之间接触状况的感知。通过令接触模块由透明硬质支撑层、柔性半透光材料层和柔性发光层构成，实现了在受压情况下采用透光情况的变化反映受压位置和受压作用大小的技术方案。通过令感知模块由广角摄像模块构成，实现了对前述透光变化情况的可靠获取，获取的光源图像作为系统判断和计算的依据。通过设置分析模块，实现了对光源图像的分析计算，得出触觉结论并将触觉结论作为反馈信号发送给机器人控制器作为执行器动作的依据。
本机器人触觉感知系统基于连续采集获取的、受压变化的光源图像进行触觉感知，与现有的基于压力传感器的触觉感知系统相比，其接触模块能够对受压位置的压力状况进行全方位的反映，即实现了全方位的压力感知。另一方面，感知模块持续获取光源图像并采用分析模块进行连续在线分析，因此能够形成触觉感知数据库，令机器人控制系统能够根据大量的运行数据进行机器学习，不断提升机器人的触觉感知能力，是一种具备自我学些和完善能力的触觉感知系统。
优选地：接触模块为平板型结构形式，透明硬质支撑层、柔性半透光材料层和柔性发光层三者为平直形状并叠放连接；广角摄像模块位于透明硬质支撑层的后方。
优选地：接触模块为手指型结构形式，后部开口，透明硬质支撑层、柔性半透光材料层和柔性发光层三者的截面为U形形状并逐层叠放连接；广角摄像模块位于后部开口处。
优选地：柔性发光层包括柔性材料基层，在柔性材料基层内镶嵌光导纤维或微型LED光源。
优选地：广角摄像模块选取为带广角镜头的摄像头或带广角镜头的CCD相机。
优选地：分析模块为上位计算机或者机器人机载控制器。
本发明还涉及一种基于前述机器人触觉感知系统的图像化感知压力的机器人触觉感知方法。机器人触觉感知方法包括以下步骤，
步骤1：触觉感知系统的接触模块与外部物体接触，接触模块的局部受到挤压，柔性半透光材料层和柔性发光层两者发生局部形变，柔性半透光材料层在受压位置变薄，透光度增加；
步骤2：广角摄像模块获取其视域内的光源图像；
步骤3：分析模块从广角摄像模块获取光源图像；
步骤4：分析模块执行光斑分析算法，对光源图像进行分析计算，根据光斑最大光强所在的位置判断接触模块上与外部物体的实际接触位置，同时根据光斑的光强分布情况计算判断前述接触位置的形变量；
步骤5：分析模块将接触位置信息和形变量信息作为反馈信号发送给机器人控制器，供机器人控制器判断后续控制策略。
附图说明
图1是本发明第一实施例的结构示意图；
图2是本发明第一实施例的原理图；
图3是本发明第二实施例的结构示意图；
图4是本发明第二实施例的原理图。
图中：
1、广角摄像模块；2、透明硬质支撑层；3、柔性半透光材料层；4、柔性发光层；5、分析模块。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹举以下实施例详细说明。
请参见图1和图3，本发明的图像化感知压力的机器人触觉感知系统包括接触模块和感知模块。其中，接触模块用于与外部物体直接接触，感知模块用于感知接触模块与外部物体接触后发生的状态变化，根据对状态变化进行分析，得到触觉感知的结论。
接触模块包括透明硬质支撑层2，在透明硬质支撑层2的外侧设有柔性半透光材料层3，在柔性半透光材料层3的外侧设有柔性发光层4。
其中，透明硬质支撑层2起到支撑作用，令接触模块整体具备一定的刚度，以便于安装使用并且在较长的使用周期内保持自身形状，柔性半透光材料层3自身具备柔性特性，受到外力的挤压作用时受压形变，受到压力的位置变薄，柔性发光层4自身具备发光和柔性的双重特性，发出的光源朝经柔性半透光材料层3和透明硬质支撑层2朝向接触模块的后方透射。由于柔性半透光材料层3在受压的位置变薄(直接受压的位置厚度变化最大，离直接受压位置距离越远则厚度变化越小)，因此这个受压位置的透光效果会发生变化(直接受压的位置透光效果最好、离直接受压位置距离越远则透光效果越差)，故从接触模块的后方来看，在与外部物品直接接触受压的位置形成一个光斑，且光斑的中心最亮，离中心位置越远就越暗淡。
本实施例中，柔性发光层4包括柔性材料基层，在柔性材料基层内镶嵌光导纤维或微型LED光源，光导纤维的端部或者微型LED光源密集且均匀地分布在柔性材料基层内。当选取光导纤维时，可以令各光导纤维具备共同的光源，当选取微型LED光源时，各微型LED光源同步进行供电。因此整个柔性发光层4发出均匀稳定的光源效果。
根据具体形式的不同，接触模块可以分为图1和图2中展示的平板型以及图3和图4中展示的手指型。具体地：
1)接触模块为平板型结构形式，此种结构形式下，透明硬质支撑层2、柔性半透光材料层3和柔性发光层4三者为平直形状并叠放连接；平板型结构形式的接触模块适用于作为机器人的皮肤，通过在一定的面域上进行压力感知，实现皮肤触觉；
2)接触模块为手指型结构形式，后部开口、前部成半球形，此种结构形式下，透明硬质支撑层2、柔性半透光材料层3和柔性发光层4三者的截面为U形形状并逐层叠放连接；形成类似手指的形状；手指型结构形式的接触模块适用于作为机器人的机械手，例如在机械臂上安装相邻两个或者多个接触模块并且各接触模块至少有一个能够平移移动，则能够对外部物品进行夹持，相当于人的手部对物品进行抓取。
感知模块包括用于从接触模块的背部获取光源图像的广角摄像模块1，广角摄像模块1从接触模块的背部获取光源图像，该光源图像数据作为触觉感知的系统输入数据。如前所示，接触模块分为两种具体结构形式，因而感知模块也应分别适配这两种结构形式：当接触模块为平板型结构形式时，广角摄像模块1位于透明硬质支撑层2的后方；当接触模块为手指型结构形式时，广角摄像模块1位于后部开口处。
本实施例中，广角摄像模块1选取为带广角镜头的摄像头或带广角镜头的CCD相机，当接触模块为手指型结构形式时，广角镜头位于感知模块的后部开口内部。
还包括从广角摄像模块1接收光源图像并进行光斑分析的分析模块5。本实施例中，分析模块5为上位计算机或者机器人机载控制器。在分析模块5内安装有带有图像处理算法的软件程序，光源图像接收后，软件程序执行图像处理算法进行光斑计算，得出触觉感知的结论。
本发明还涉及一种基于前述机器人触觉感知系统的图像化感知压力的机器人触觉感知方法。机器人触觉感知方法包括以下步骤，
步骤1：触觉感知系统的接触模块与外部物体接触，接触模块的局部受到挤压，柔性半透光材料层3和柔性发光层4两者发生局部形变，柔性半透光材料层3在受压位置变薄，透光度增加；
步骤2：广角摄像模块1获取其视域内的光源图像；
步骤3：分析模块5从广角摄像模块1获取光源图像；
步骤4：分析模块5执行光斑分析算法，对光源图像进行分析计算，根据光斑最大光强所在的位置判断接触模块上与外部物体的实际接触位置，同时根据光斑的光强分布情况计算判断前述接触位置的形变量；
其中，对接触位置进行判断用于生成触觉感知中对接触方位或位置的判断，对形变量进行判断用于生成触觉感知中对接触压力的判断；
步骤5：分析模块5将接触位置信息和形变量信息作为反馈信号发送给机器人控制器，供机器人控制器判断后续控制策略；
例如，机器人控制器接收到的接触位置信息显示未正确接触或者未正确抓取时，控制器可以指令执行结构动作，重新调整姿态进行物品接触或者抓取；机器人控制器接收到的形变量信息显示是否已经达到足够的夹持力度，达到夹持力度后应控制执行机构停止动作。
Claims (6)
1.一种图像化感知压力的机器人触觉感知系统，其特征是：包括接触模块和感知模块；接触模块包括透明硬质支撑层(2)，在透明硬质支撑层(2)的外侧设有柔性半透光材料层(3)，在柔性半透光材料层(3)的外侧设有柔性发光层(4)，柔性发光层(4)包括柔性材料基层，在柔性材料基层内镶嵌光导纤维或微型LED光源；感知模块包括用于从接触模块的背部获取光源图像的广角摄像模块(1)；还包括从广角摄像模块(1)接收光源图像并进行光斑分析的分析模块(5)。
2.如权利要求1所述的图像化感知压力的机器人触觉感知系统，其特征是：接触模块为平板型结构形式，透明硬质支撑层(2)、柔性半透光材料层(3)和柔性发光层(4)三者为平直形状并叠放连接；广角摄像模块(1)位于透明硬质支撑层(2)的后方。
3.如权利要求1所述的图像化感知压力的机器人触觉感知系统，其特征是：接触模块为手指型结构形式，后部开口，透明硬质支撑层(2)、柔性半透光材料层(3)和柔性发光层(4)三者的截面为U形形状并逐层叠放连接；广角摄像模块(1)位于后部开口处。
4.如权利要求2或3所述的图像化感知压力的机器人触觉感知系统，其特征是：广角摄像模块(1)选取为带广角镜头的CCD相机。
5.如权利要求2或3所述的图像化感知压力的机器人触觉感知系统，其特征是：分析模块(5)为上位计算机或者机器人机载控制器。
6.如权利要求1至5任一项所述的图像化感知压力的机器人触觉感知系统的触觉感知方法，包括以下步骤：
步骤1：触觉感知系统的接触模块与外部物体接触，接触模块的局部受到挤压，柔性半透光材料层(3)和柔性发光层(4)两者发生局部形变，柔性半透光材料层(3)在受压位置变薄，透光度增加；
步骤2：广角摄像模块(1)获取其视域内的光源图像；
步骤3：分析模块(5)从广角摄像模块(1)获取光源图像；
步骤4：分析模块(5)执行光斑分析算法，对光源图像进行分析计算，根据光斑最大光强所在的位置判断接触模块上与外部物体的实际接触位置，同时根据光斑的光强分布情况计算判断前述接触位置的形变量；
步骤5：分析模块(5)将接触位置信息和形变量信息作为反馈信号发送给机器人控制器，供机器人控制器判断后续控制策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111470105.XA CN114147750B (zh) | 2021-12-03 | 2021-12-03 | 一种图像化感知压力的机器人触觉感知系统及触觉感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111470105.XA CN114147750B (zh) | 2021-12-03 | 2021-12-03 | 一种图像化感知压力的机器人触觉感知系统及触觉感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114147750A CN114147750A (zh) | 2022-03-08 |
| CN114147750B true CN114147750B (zh) | 2024-04-09 |
Family
ID=80452808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111470105.XA Active CN114147750B (zh) | 2021-12-03 | 2021-12-03 | 一种图像化感知压力的机器人触觉感知系统及触觉感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114147750B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114993542B (zh) * | 2022-05-23 | 2023-12-08 | 东南大学 | 一种基于单触点软体视觉的触滑觉集成式传感器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2156492Y (zh) * | 1993-05-07 | 1994-02-16 | 北京理工大学 | 一种柔性光学触觉传感器 |
| CN106052914A (zh) * | 2016-07-21 | 2016-10-26 | 清华大学 | 一种基于视觉的触觉测量传感器 |
| CN108161994A (zh) * | 2017-12-20 | 2018-06-15 | 清华大学 | 一种多模态触觉感知装置 |
| CN109015763A (zh) * | 2018-08-30 | 2018-12-18 | 清华大学 | 一种基于感温变色油墨材料的多模态触觉感知装置 |
| CN113108956A (zh) * | 2021-05-08 | 2021-07-13 | 香港中文大学（深圳） | 一种触觉传感器和机器人 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8144271B2 (en) * | 2006-08-03 | 2012-03-27 | Perceptive Pixel Inc. | Multi-touch sensing through frustrated total internal reflection |
| EP4321975A3 (en) * | 2008-06-19 | 2024-06-05 | Massachusetts Institute of Technology | Tactile sensor using elastomeric imaging |
-
2021
- 2021-12-03 CN CN202111470105.XA patent/CN114147750B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2156492Y (zh) * | 1993-05-07 | 1994-02-16 | 北京理工大学 | 一种柔性光学触觉传感器 |
| CN106052914A (zh) * | 2016-07-21 | 2016-10-26 | 清华大学 | 一种基于视觉的触觉测量传感器 |
| CN108161994A (zh) * | 2017-12-20 | 2018-06-15 | 清华大学 | 一种多模态触觉感知装置 |
| CN109015763A (zh) * | 2018-08-30 | 2018-12-18 | 清华大学 | 一种基于感温变色油墨材料的多模态触觉感知装置 |
| CN113108956A (zh) * | 2021-05-08 | 2021-07-13 | 香港中文大学（深圳） | 一种触觉传感器和机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114147750A (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Slip detection with combined tactile and visual information | |
| US20220339803A1 (en) | Sensorized Robotic Gripping Device | |
| CN114147750B (zh) | 一种图像化感知压力的机器人触觉感知系统及触觉感知方法 | |
| US9104981B2 (en) | Robot teaching system and method using imaging based on training position | |
| JP2020518902A5 (zh) | ||
| US10471591B1 (en) | Object hand-over between robot and actor | |
| CN107445002B (zh) | 一种电梯楼层信息获取方法、装置和外置式电梯设备 | |
| US20210023715A1 (en) | Incorporating Vision System and In-Hand Object Location System for Object Manipulation and Training | |
| WO2011065034A1 (ja) | ロボットの動作を制御する方法およびロボットシステム | |
| CN113103258B (zh) | 一种可扩展且可重构的交互式柔性机器人皮肤 | |
| CN113103259B (zh) | 一种可扩展的交互式柔性机器人皮肤 | |
| US20140346957A1 (en) | Medical lighting system, in particular an operating lighting system, and a method of controlling such a lighting system | |
| Saen et al. | Action-intention-based grasp control with fine finger-force adjustment using combined optical-mechanical tactile sensor | |
| JP2023542055A (ja) | オブジェクトインスタンスの分類および認識のための対話型触覚認知方法 | |
| WO2021227651A1 (zh) | 一种手指动作采集方法及手指动作采集设备 | |
| WO2017050673A1 (en) | An arrangement for providing a user interface | |
| CN113252084B (zh) | 一种可扩展且全局可独立重构的交互式柔性机器人皮肤 | |
| CN111421536A (zh) | 一种基于触觉信息的摇杆操作控制方法 | |
| CN113165180A (zh) | 关节臂机器人 | |
| CN114770490A (zh) | 基于跨模态触觉传感器与气泡驱动器的软体操作臂 | |
| US20230073681A1 (en) | Robotic manipulator with visual guidance & tactile sensing | |
| CN112043388B (zh) | 一种用于医疗遥操作的触觉人机交互装置 | |
| CN113370172A (zh) | 基于多传感器和力反馈的辅助机械手系统及其使用方法 | |
| CN111300419A (zh) | 基于Leap Motion模块的软体抓手控制方法及系统 | |
| CN113414763B (zh) | 基于软体臂的重叠光信号触觉传感系统及其触觉检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |