CN112596375B - 一种用于目标跟踪的全向移动平台系统及控制方法 - Google Patents
一种用于目标跟踪的全向移动平台系统及控制方法 Download PDFInfo
- Publication number
- CN112596375B CN112596375B CN202011446623.3A CN202011446623A CN112596375B CN 112596375 B CN112596375 B CN 112596375B CN 202011446623 A CN202011446623 A CN 202011446623A CN 112596375 B CN112596375 B CN 112596375B
- Authority
- CN
- China
- Prior art keywords
- chassis
- cradle head
- data
- target
- motor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 4
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 claims description 3
- 108010050014 systemin Proteins 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000013500 data storage Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B11/00—Automatic controllers
- G05B11/01—Automatic controllers electric
- G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
- G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P.I., P.I.D.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种用于目标跟踪的全向移动平台系统及控制方法，包括底盘，底盘前后部对称安装麦克纳姆轮，麦克纳姆轮由伺服电机驱动，伺服电机通过电机驱动控制器与中央处理器连接并通信，云台旋转安装在底盘上，云台搭载设置中央处理器、九轴陀螺仪传感器，九轴陀螺仪传感器、云台电机的驱动控制器与中央处理器线路连接并通信，中央处理器，用于处理九轴陀螺仪传感器和麦克纳姆轮、云台的电机驱动控制器反馈的数据，驱动平台移动。该系统具有小型化、数字化和集成化的特点，旨在为复杂环境中移动的机械设备提供一个稳定的视场，或使设备以预定的规律移动排除其他因素的干扰。
Description
技术领域
本发明属于控制技术领域，具体涉及一种用于目标跟踪的全向移动平台系统及控制方法。
背景技术
在目前机器人、车船、军事等领域的研究中，主要攻克的便是环境适应能力，在面对复杂崎岖的路面、沟壑或者海面时，利用雷达、单目或者双目摄像头，以及其他传感器，会出现雷达天线体积庞大无法规律运转、摄像头无法稳定、传感器数据采集错位等等问题，以至于无法采集稳定的环境数据而导致运动效率低下，难以做到精准的控制，无法达到目标效果。
在这个领域研究中，一般会涉及到PID控制算法、Kalman滤波算法、浮点运算单元和数字信号处理等算法，但是一般技术依然无法满足实际使用需要，例如公开号为CN110209186A的带漂移补偿的陀螺稳定控制系统，公开号为CN108519087A的基于MEMS陀螺的跟踪平台装置及跟踪方法，依然不能达到满意的效果。
发明内容
本发明的目的在于提供一种用于目标跟踪的全向移动平台系统，该系统具有小型化、数字化和集成化的特点，旨在为复杂环境中移动的机械设备提供一个稳定的视场，或使设备以预定的规律移动排除其他因素的干扰。
提供该移动平台的控制方法是本发明的另一个目的。
为实现上述目的，本发明的技术方案是：一种用于目标跟踪的全向移动平台系统，包括底盘，一组麦克纳姆轮，云台，中央处理器，九轴陀螺仪传感器，
所述底盘前后部对称安装麦克纳姆轮，麦克纳姆轮由伺服电机驱动，伺服电机通过电机驱动控制器与中央处理器连接并通信，
所述云台旋转安装在底盘上，云台搭载设置中央处理器、九轴陀螺仪传感器，所述九轴陀螺仪传感器、云台电机的驱动控制器与中央处理器线路连接并通信，用于将采集的方位角，俯仰角，位置速度信息反馈给中央处理器处理、存储；
所述中央处理器，用于处理九轴陀螺仪传感器和麦克纳姆轮、云台的电机驱动控制器反馈的数据，驱动平台移动。
所述底盘同侧的麦克纳姆轮互为镜像关系。
所述云台通过导电滑环安装在底盘上。
所述电机驱动控制器与中央处理器通过CAN总线通信方式连接，所述九轴陀螺仪传感器与中央处理器通过串口通信方式连接。
所述云台包括pitch轴、yaw轴。
本发明全向移动平台系统具有小型化、数字化和集成化的特点，可以为机械设备在复杂环境中的运行提供稳定的视场。
一种用于目标跟踪的全向移动平台系统的控制方法，
1、搭建实验平台，平台包括四角对称安装有麦克纳姆轮的底盘，麦克纳姆轮由伺服电机驱动，同侧麦克纳姆轮互为镜像关系；底盘上旋转设置云台，所述云台包括pitch轴、yaw轴；云台搭载中央处理器、九轴陀螺仪传感器，所述九轴陀螺仪传感器、云台的电机驱动控制器、底盘麦克纳姆轮的电机驱动控制器与中央处理器线路连接，实现对云台的方位角，俯仰角，位置速度信息及电机驱动控制器反馈得到的底盘数据的实时数据收集、存储；
2、将底盘麦克纳姆轮伺服电机驱动控制器反馈得到的底盘数据，结合PID控制算法，从而控制电机驱动控制器的驱动电流，做出底盘PID速度闭环，配合麦克纳姆轮进行全向移动；
3、将云台电机驱动控制器、九轴陀螺仪传感器反馈得到的云台数据，结合模糊PID控制算法，从而控制电机驱动控制器的驱动电流，做出云台的位置速度串级PID双环，完成基础移动；
4、运用Kalman滤波算法，对使用者控制的目的坐标或者摄像头反馈的控制目的坐标的离散化数据集，进行滤波，防止坐标跳变以及做出目标预测，将得到的数据反馈给中央处理器；
5、结合步骤1、步骤5得到的数据，利用中央处理器自带的DSP库函数，通过算法计算出底盘、云台的实时位置，并作出精准的控制，从而实现稳定移动跟踪平台；
算法如下：
a、以平台中心为极点，云台的初始方向作为极轴，取顺时针方向为正，长度单位为云台yaw轴反馈的速度，建立平面极坐标系，极坐标系内任意一点（ρ，θ）代表某时刻云台与底盘的相对速度和相对位置；
b、记录云台yaw轴电机转子初始位置，实时位置/>，转子旋转圈数n,减速箱减速比m，转子最大机械角度/>，
计算总角度：/>
相对位置：（%为取余符号），
c、分别以平台底盘、平台云台为中心，自定义向前为y轴正方向，向右为x轴正方向，建立两个平面直角坐标系；
d、解算目标位置，在平面直角坐标系中，根据遥控器接收到的数据或者视觉引导反馈的数据/>,在极坐标系中/>，
其中：
且目标速度，
e、即可在平面直角坐标系中解算得到数据：
将解算数据带入麦克纳姆轮底盘解算
即
其中为底盘四个电机控制值，x为纵向目标控制值，y为横向目标控制值，/>为旋转目标控制值，
再将底盘电机的目标数据带入伺服电机的伺服控制器中；
6、利用步骤a采集到的九轴陀螺仪传感器数据，解算得到欧拉角作为云台的绝对位置信息，机器人云台采用速度、位置串级PID双闭环控制，实现对云台的绝对控制。
本发明移动跟踪平台，利用Kalman滤波算法获取目标值、利用九轴陀螺仪传感器来获取到平台的姿态，再结合PID控制器以及数字信号处理技术对电机进行伺服控制，有效的保证了平台视场的稳定性、时效性和精准度。
附图说明
图1为 本发明的结构示意图。
图2为图1的左视图。
图3为图 的俯视图。
图4为本发明的硬件框图。
图5为本发明平面直角坐标系示意图。
图6为本发明平面极坐标系示意图。
具体实施方式
如图1、6所示，一种用于目标跟踪的全向移动平台系统，包括底盘1，一组四个麦克纳姆轮2，云台3，中央处理器，九轴陀螺仪传感器，
底盘1前后部对称安装麦克纳姆轮2，麦克纳姆轮由伺服电机驱动，底盘同侧的麦克纳姆轮互为镜像关系，伺服电机通过电机驱动控制器与中央处理器通过CAN总线连接并通讯，
云台3通过导电滑环安装在底盘1上，云台包括pitch轴、yaw轴，云台搭载设置中央处理器、九轴陀螺仪传感器，所述九轴陀螺仪传感器与中央处理器通过串口通信方式连接，云台的电机驱动控制器与中央处理器通过CAN总线连接并通讯，用于将采集的方位角，俯仰角，位置速度信息反馈给中央处理器处理、存储；
中央处理器，用于处理九轴陀螺仪传感器和麦克纳姆轮、云台的电机驱动控制器反馈的数据，驱动平台移动
上述系统的控制方法是：
1、搭建实验平台，底盘由4个一组麦克纳姆轮组成，底盘一侧的两个麦克纳姆轮有着互为镜像的关系,即两轮可以完成相反的运动方式，利用速度的正交分解，两轮便可以分解成全向和自旋的速度分量。云台由pitch轴和yaw轴2个轴组成；云台搭载STM32开发板作为中央处理器，芯片型号为STM32F407VGT6,拥有丰富的扩展接口和通信接口，外设有九轴陀螺仪传感器，并将采集的方位角，俯仰角，位置速度信息反馈给中央处理器，经过数字信号处理后存储；云台底盘间利用导电滑环进行连接，实现云台的360°旋转；利用CAN总线通信方式，获取云台以及底盘电机编码器的实时数据，并存储。
2、将底盘电机编码器反馈得到的底盘数据，结合PID控制算法，从而控制电机驱动控制器的驱动电流，做出底盘PID速度闭环，配合麦克纳姆轮进行全向移动。
3、将云台电机编码器和九轴陀螺仪加速度传感器反馈得到的云台数据，结合模糊PID控制算法，从而控制电机驱动控制器的驱动电流，做出云台的位置速度串级PID双环，完成基础移动。
4、运用Kalman滤波算法，对使用者控制的目的坐标或者摄像头反馈的控制目的坐标的离散化数据集，进行滤波，防止坐标跳变以及做出目标预测，将得到的数据反馈给中央处理器。
5、结合步骤4、步骤7得到的数据，利用STM32F4自带的DSP库函数，通过算法计算出底盘、云台的实时位置，并作出精准的控制，从而实现稳定移动跟踪平台。
算法推导：
（1）以平台中心为极点，云台的初始方向作为极轴，取顺时针方向为正，长度单位为平台底盘旋转的角速度，即云台yaw轴反馈的速度，建立平面极坐标系。极坐标系内任意一点（ρ，θ）代表某时刻云台与底盘的相对速度和相对位置；
（2）记录云台yaw轴电机转子初始位置，实时位置/>，转子旋转圈数n,减速箱减速比m，转子最大机械角度/>。
计算总角度：/>
相对位置：（%为取余符号）
（3）分别以平台底盘、平台云台为中心，自定义向前为y轴正方向，向右为x轴正方向，建立两个平面直角坐标系。
（4）解算目标位置，在平面直角坐标系中，根据遥控器接收到的数据或者视觉引导反馈的数据/>,在极坐标系中/>。
其中：
且目标速度
（5）即可在平面直角坐标系中解算得到数据：
将解算数据带入麦克纳姆轮底盘解算，
即
其中为底盘四个电机控制值，x为纵向目标控制值，y为横向目标控制值，/>为旋转目标控制值，
再将底盘电机的目标数据带入伺服电机的伺服控制器中；
6、利用步骤二采集到的陀螺仪数据，解算得到欧拉角作为云台的绝对位置信息，机器人云台采用速度、位置串级PID双闭环控制，即通过位置外环控制器，求出控制输出量，作为速度内环的控制目标值，实现对云台的绝对控制。
Claims (1)
1.一种用于目标跟踪的全向移动平台系统的控制方法，
1）、搭建实验平台，平台包括四角对称安装有麦克纳姆轮的底盘，麦克纳姆轮由伺服电机驱动，同侧麦克纳姆轮互为镜像关系；底盘上旋转设置云台，所述云台包括pitch轴、yaw轴；云台搭载中央处理器、九轴陀螺仪传感器，所述九轴陀螺仪传感器、云台的电机驱动控制器、底盘麦克纳姆轮的电机驱动控制器与中央处理器线路连接，实现对云台的方位角，俯仰角，位置速度信息及电机驱动控制器反馈得到的底盘数据的实时数据收集、存储；
2）、将底盘麦克纳姆轮伺服电机驱动控制器反馈得到的底盘数据，结合PID控制算法，从而控制电机驱动控制器的驱动电流，做出底盘PID速度闭环，配合麦克纳姆轮进行全向移动；
3）、将云台电机驱动控制器、九轴陀螺仪传感器反馈得到的云台数据，结合模糊PID控制算法，从而控制电机驱动控制器的驱动电流，做出云台的位置速度串级PID双环，完成基础移动；
4）、运用Kalman滤波算法，对使用者控制的目的坐标或者摄像头反馈的控制目的坐标的离散化数据集，进行滤波，防止坐标跳变以及做出目标预测，将得到的数据反馈给中央处理器；
5）、结合步骤1、步骤4得到的数据，利用中央处理器自带的DSP库函数，通过算法计算出底盘、云台的实时位置，并作出精准的控制，从而实现稳定移动跟踪平台；
算法如下：
a、以平台中心为极点，云台的初始方向作为极轴，取顺时针方向为正，长度单位为云台yaw轴反馈的速度，建立平面极坐标系，极坐标系内任意一点（ρ，θ）代表某时刻云台与底盘的相对速度和相对位置；
b、记录云台yaw轴电机转子初始位置，实时位置/>，转子旋转圈数n,减速箱减速比m，转子最大机械角度/>，
计算总角度，
相对位置：，%为取余符号，
c、分别以平台底盘、平台云台为中心，自定义向前为y轴正方向，向右为x轴正方向，建立两个平面直角坐标系；
d、解算目标位置，在平面直角坐标系中，根据遥控器接收到的数据或者视觉引导反馈的数据/>，在极坐标系中/>，
其中：
，
且目标速度，
e、即可在平面直角坐标系解算得到数据：
，
将解算数据带入麦克纳姆轮底盘解算
即
其中为底盘四个电机控制值，x为纵向目标控制值，y为横向目标控制值，/>为旋转目标控制值， 再将底盘电机的目标数据带入伺服电机的伺服控制器中；
6）、利用步骤a采集到的九轴陀螺仪传感器数据，解算得到欧拉角作为云台的绝对位置信息，机器人云台采用速度、位置串级PID双闭环控制，实现对云台的绝对控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011446623.3A CN112596375B (zh) | 2020-12-11 | 2020-12-11 | 一种用于目标跟踪的全向移动平台系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011446623.3A CN112596375B (zh) | 2020-12-11 | 2020-12-11 | 一种用于目标跟踪的全向移动平台系统及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112596375A CN112596375A (zh) | 2021-04-02 |
| CN112596375B true CN112596375B (zh) | 2024-04-26 |
Family
ID=75192388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011446623.3A Active CN112596375B (zh) | 2020-12-11 | 2020-12-11 | 一种用于目标跟踪的全向移动平台系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112596375B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114814742B (zh) * | 2022-06-30 | 2022-09-06 | 南京宇安防务科技有限公司 | 一种基于伺服平台的机载雷达对抗设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1127990A (ja) * | 1997-07-07 | 1999-01-29 | Hitachi Denshi Ltd | ステッピングモータ制御方法 |
| CN102880179A (zh) * | 2012-09-19 | 2013-01-16 | 山东康威通信技术股份有限公司 | 一种电力隧道内多功能智能化巡检机器人 |
| CN202696371U (zh) * | 2012-07-31 | 2013-01-23 | 南京龙泰航空电子科技有限公司 | 微小型多圈数字伺服机 |
| CN106625569A (zh) * | 2017-02-15 | 2017-05-10 | 华南理工大学 | 一种具有二轴自稳云台的自平衡探测机器人 |
| CN107014307A (zh) * | 2017-04-17 | 2017-08-04 | 深圳广田机器人有限公司 | 三维激光扫描仪以及三维信息的获取方法 |
| CN108919801A (zh) * | 2018-06-29 | 2018-11-30 | 大连大学 | 一种麦克纳姆轮全向底盘运动方向矫正控制装置 |
| CN109606089A (zh) * | 2018-11-27 | 2019-04-12 | 北京建筑大学 | 一种灭火车 |
| CN109702755A (zh) * | 2019-01-08 | 2019-05-03 | 中国矿业大学 | 一种云台与底盘均可360度旋转的移动射击机器人 |
| CN111736596A (zh) * | 2020-05-28 | 2020-10-02 | 东莞市易联交互信息科技有限责任公司 | 有手势控制功能的车辆、车辆的手势控制方法和存储介质 |
-
2020
- 2020-12-11 CN CN202011446623.3A patent/CN112596375B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1127990A (ja) * | 1997-07-07 | 1999-01-29 | Hitachi Denshi Ltd | ステッピングモータ制御方法 |
| CN202696371U (zh) * | 2012-07-31 | 2013-01-23 | 南京龙泰航空电子科技有限公司 | 微小型多圈数字伺服机 |
| CN102880179A (zh) * | 2012-09-19 | 2013-01-16 | 山东康威通信技术股份有限公司 | 一种电力隧道内多功能智能化巡检机器人 |
| CN106625569A (zh) * | 2017-02-15 | 2017-05-10 | 华南理工大学 | 一种具有二轴自稳云台的自平衡探测机器人 |
| CN107014307A (zh) * | 2017-04-17 | 2017-08-04 | 深圳广田机器人有限公司 | 三维激光扫描仪以及三维信息的获取方法 |
| CN108919801A (zh) * | 2018-06-29 | 2018-11-30 | 大连大学 | 一种麦克纳姆轮全向底盘运动方向矫正控制装置 |
| CN109606089A (zh) * | 2018-11-27 | 2019-04-12 | 北京建筑大学 | 一种灭火车 |
| CN109702755A (zh) * | 2019-01-08 | 2019-05-03 | 中国矿业大学 | 一种云台与底盘均可360度旋转的移动射击机器人 |
| CN111736596A (zh) * | 2020-05-28 | 2020-10-02 | 东莞市易联交互信息科技有限责任公司 | 有手势控制功能的车辆、车辆的手势控制方法和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 全向四驱变电站巡检机器人运动控制系统设计;李荣;栾贻青;王海鹏;李建祥;周岳;许玮;黄锐;;机床与液压;20200428(08);全文 * |
| 面向固定平台的多特征目标检测与跟踪技术研究;贵军涛;《中国优秀硕士学位论文全文数据库 信息科技辑》;正文第1-60页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112596375A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107065898B (zh) | 一种水下无人船航行控制方法及系统 | |
| CN110304270B (zh) | 用于运载火箭的全方位发射控制方法、装置、计算机设备 | |
| Wenzel et al. | Automatic take off, tracking and landing of a miniature UAV on a moving carrier vehicle | |
| CN109960145B (zh) | 移动机器人混合视觉轨迹跟踪策略 | |
| CN111208845A (zh) | 一种水下机器人移动式对接回收的路径规划方法及装置 | |
| Duecker et al. | HippoCampusX–A hydrobatic open-source micro AUV for confined environments | |
| CN112596375B (zh) | 一种用于目标跟踪的全向移动平台系统及控制方法 | |
| CN111913489A (zh) | 水下机器人多推进器耦合控制方法及系统 | |
| Kritskiy et al. | Increasing the reliability of drones due to the use of quaternions in motion | |
| CN208384428U (zh) | 基于反向位移补偿的稳定转台系统 | |
| CN109521785A (zh) | 一种随身拍智能旋翼飞行器系统 | |
| CN111258324B (zh) | 多旋翼无人机控制方法、装置、多旋翼无人机及存储介质 | |
| CN112947569A (zh) | 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 | |
| Hu et al. | A miniature, low-cost MEMS AHRS with application to posture control of robotic fish | |
| CN111251303A (zh) | 一种周期性姿态调整的机器人运动控制方法 | |
| Bao et al. | A decoupling three-dimensional motion control algorithm for spherical underwater robot | |
| CN112066957B (zh) | 一种控制机载光电转塔瞄准线按地理方位运动的方法 | |
| CN114791735A (zh) | 无人船纠偏方法及系统 | |
| CN110189359B (zh) | 一种基于分类学习的快速智能跟踪方法和装置 | |
| Jeong et al. | Cartesian space control of a quadrotor system based on low cost localization under a vision system | |
| CN112649823A (zh) | 无人机导航定位方法及装置 | |
| JP2022095408A (ja) | 処理システム、飛行体、処理方法及びプログラム | |
| Guo et al. | A ground moving target tracking system for a quadrotor in GPS-denied environments | |
| CN111580537A (zh) | 一种无人机特技飞行控制系统及方法 | |
| CN115586793B (zh) | 一种高海况条件下全方位转弯机体指向控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |