CN110743160A - 基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法 - Google Patents
基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法 Download PDFInfo
- Publication number
- CN110743160A CN110743160A CN201911131983.1A CN201911131983A CN110743160A CN 110743160 A CN110743160 A CN 110743160A CN 201911131983 A CN201911131983 A CN 201911131983A CN 110743160 A CN110743160 A CN 110743160A
- Authority
- CN
- China
- Prior art keywords
- human body
- foot
- information
- footprint
- projection area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及基于体感捕捉设备的实时步伐跟踪系统及步伐生产方法，其中实时步伐跟踪系统包括：控制模块，人体信息采集模块和投影模块；所述人体信息采集模块适于采集投影模块的投射区域内的人体脚骨信息，并发送至所述控制模块；所述控制模块对人体脚骨信息进行处理，以将相应的脚印生成指令发送至所述投影模块；以及所述投影模块适于根据脚印生成指令在投射区域内投射相应的脚印；本发明的实时步伐跟踪系统通过人体信息采集模块、控制模块和投影模块在投射区域内生成跟踪人体脚骨的脚印，使用户产生好奇心和玩乐心，进而提高用户的体验趣味性，同时还可以通过投射的脚印形状，对用户进行相关知识的科普，在娱乐的同时不忘科教。
Description
技术领域
本发明属于智能控制领域，具体涉及一种基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法。
背景技术
随着科技的进步，将互动装置融入生活中各个领域的情形越来越普遍。随着人们生活水平的提高，人们会经常带上小朋友去博物馆、科技馆、商场或游乐园等场所，因此，在博物馆、科技馆、商场或游乐园等场所加入了越来越多的人机互动装置，这些互动装置一方面可以向用户展示人机互动科技，一方面也让用户体验到有趣的人机互动。
比如脚印实时跟踪装置，是指在一定的区域范围内，只要有用户踏进这个区域范围，就会在对应人脚的位置处生成具有趣味性和/科普性的动物脚印，一方面起到娱乐的作用，一方面起到科普的作用，但市面上现有的类似装置，一般采用雷达识别踏入区域范围内的人体信息，但雷达无法具体识别人体的方向信息，容易造成生成脚印的方向与具体人的方向有所偏差，甚至是相反；还有就是遮挡人物问题也比较严重。
发明内容
本发明的目的是提供一种基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法。
为了解决上述技术问题，本发明提供了一种基于体感捕捉设备的实时步伐跟踪系统，包括：控制模块，人体信息采集模块和投影模块；所述人体信息采集模块适于采集投影模块的投射区域内的人体脚骨信息，并发送至所述控制模块；所述控制模块对人体脚骨信息进行处理，以将相应的脚印生成指令发送至所述投影模块；以及所述投影模块适于根据脚印生成指令在投射区域内投射相应的脚印。
进一步，所述人体信息采集模块采用kinect体感器；所述kinect体感器吊装在投射区域的上方侧面。
又一方面，本发明还提供了一种基于体感捕捉设备的步伐生成方法，包括：步骤S1，采集人体脚骨信息；步骤S2，获得待生成脚印的信息；以及步骤S3，投射脚印。
进一步，步骤S1中采集人体脚骨信息的方法包括：通过一吊装的kinect体感器采集一投射模块的投射区域内的人体左脚脚骨和右脚脚骨信息，即
设定kinect体感器为三维空间坐标的原点；
设定kinect体感器采集的左脚脚骨的三维空间坐标为(pos1.x，pos1.y，pos1.z)和左脚脚骨相对于各坐标轴的旋转角度为Rot1.x，Rot1.y，Rot1.z；以及
设定kinect体感器采集的右脚脚骨的三维空间坐标为(pos2.x，pos2.y，pos2.z)和右脚脚骨相对于各坐标轴的旋转角度为Rot2.x，Rot2.y，Rot2.z。
进一步，步骤S2中获得待生成脚印的信息的方法包括如下子步骤：
步骤S21，根据投射区域的大小和模拟画面的大小算出缩放比例值Scal，即
步骤S22，设定投射区域内的人体脚骨与模拟画面内的脚印之间在投射区域长度方向上(即X轴方向)和宽度方向上(即Z轴方向)的偏移距离分别为RemoveX、RemoveZ，并设定投射区域内的人体脚骨与模拟画面内的脚印之间在Y轴方向上的偏差旋转角度为Ang；
步骤S23，根据上述参数算出待生成脚印的信息，即
左脚印的三维空间坐标X1和左脚印的脚尖、脚后跟与各坐标轴之间的夹角角度J1分别由下式算出：
J1＝(Rot1.x,Rot1.y+Ang,Rot1.z)；
右脚印的三维空间坐标X2和右脚印的旋转角度J2分别由下式算出：
J2＝(Rot2.x,Rot1.y+Ang,Rot2.z)。
进一步，步骤S3中投射脚印的方法包括：通过投射模块将待生成的脚印投射在投射区域内。
本发明的有益效果是，本发明的实时步伐跟踪系统通过人体信息采集模块采集投射区域内的人体脚骨信息，经所述控制模块对人体脚骨信息处理后，通过所述投影模块在投射区域内投射相应的脚印，投射的脚印例如但不限于动物脚印，如恐龙脚印；且投射的脚印位置对应人体脚骨的位置，使投射的脚印起到跟踪人体脚骨的效果，使用户产生好奇心和玩乐心，进而提高用户的体验趣味性，同时还可以通过投射的脚印形状，对用户进行相关知识的科普，在娱乐的同时不忘科教。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的基于体感捕捉设备的实时步伐跟踪系统的原理框图；
图2是本发明的基于体感捕捉设备的实时步伐跟踪系统的安装位置示意图。
其中：
人体信息采集模块10、投影模块20、投射区域30。
具体实施方式
现在结合附图对本发明的结构作进一步详细的说明。
实施例1
如图1和图2所示，本实施例1提供了一种基于体感捕捉设备的实时步伐跟踪系统，包括：控制模块，人体信息采集模块10和投影模块20；所述人体信息采集模块10适于采集投影模块20的投射区域30内的人体脚骨信息，并发送至所述控制模块；所述控制模块对人体脚骨信息进行处理，以将相应的脚印生成指令发送至所述投影模块20；以及所述投影模块20适于根据脚印生成指令在投射区域30内投射相应的脚印。
具体的，本实施例的实时步伐跟踪系统通过人体信息采集模块10采集投射区域30内的人体脚骨信息，经所述控制模块对人体脚骨信息处理后，通过所述投影模块20在投射区域30内投射相应的脚印，投射的脚印例如但不限于动物脚印，如恐龙脚印；且投射的脚印位置对应人体脚骨的位置，使投射的脚印起到跟踪人体脚骨的效果，使用户产生好奇心和玩乐心，进而提高用户的体验趣味性，同时还可以通过投射的脚印形状，对用户进行相关知识的科普，在娱乐的同时不忘科教。
具体的，投射区域可以设置成对应待生成脚印对应的场景图画或场景动画，比如恐龙脚印可以对应远古沙滩的场景动画。
进一步，所述人体信息采集模块10采用kinect体感器；所述kinect体感器吊装在投射区域30的上方侧面，以确保kinect体感器的采集范围能够覆盖整个投射区域30，解决现有雷达识别存在人物遮挡或识别范围有限的技术问题。
实施例2
在实施例1的基础上，本实施例2提供了一种基于体感捕捉设备的实时步伐生成方法，包括：
步骤S1，采集人体脚骨信息；
步骤S2，获得待生成脚印的信息；以及
步骤S3，投射脚印。
进一步，步骤S1中采集人体脚骨信息的方法包括：
通过一吊装的kinect体感器采集一投射模块的投射区域内的人体左脚脚骨和右脚脚骨信息，即
设定kinect体感器为三维空间坐标的原点；且沿投射区域的长度方向为X轴，沿kinect体感器至投射区域的垂直高度方向为Y轴，沿投射区域的宽度方向为Z轴。
设定kinect体感器采集的左脚脚骨的三维空间坐标为(pos1.x，pos1.y，pos1.z)和左脚脚骨相对于各坐标轴的旋转角度为Rot1.x，Rot1.y，Rot1.z；以及
设定kinect体感器采集的右脚脚骨的三维空间坐标为(pos2.x，pos2.y，pos2.z)和右脚脚骨相对于各坐标轴的旋转角度为Rot2.x，Rot2.y，Rot2.z。
具体的，左脚脚骨的三维空间坐标是以左脚脚骨的脚后跟位置作为被采集点；左脚脚骨相对于各坐标轴的旋转角度是指左脚脚骨的脚后跟至脚尖所在线条对于各坐标轴的旋转角度；通过kinect体感器即可实现采集，kinect体感器的数据采集原理此处不作解释，参考现有技术。
具体的，右脚脚骨的三维空间坐标是以右脚脚骨的脚后跟位置作为被采集点；右脚脚骨相对于各坐标轴的旋转角度是指右脚脚骨的脚后跟至脚尖所在线条对于各坐标轴的旋转角度；通过kinect体感器即可实现采集，kinect体感器的数据采集原理此处不作解释，参考现有技术。
进一步，步骤S2中获得待生成脚印的信息的方法包括如下子步骤：
步骤S21，根据投射区域的大小和模拟画面的大小算出缩放比例值Scal，即
步骤S22，设定投射区域内的人体脚骨与模拟画面内的脚印之间在投射区域长度方向上(即X轴方向)和宽度方向上(即Z轴方向)的偏移距离分别为RemoveX、RemoveZ，并设定投射区域内的人体脚骨与模拟画面内的脚印之间相对于Y轴的偏差旋转角度为Ang；
步骤S23，根据上述参数算出待生成脚印的信息，即
左脚印的三维空间坐标X1和左脚印的脚尖、脚后跟与各坐标轴之间的夹角角度J1分别由下式算出：
J1＝(Rot1.x,Rot1.y+Ang,Rot1.z)；
右脚印的三维空间坐标X2和右脚印的旋转角度J2分别由下式算出：
J2＝(Rot2.x,Rot1.y+Ang,Rot2.z)。
具体的，在本实施例中，由于待生成的脚印是投射在二维平面的投射区域内，因此不管待生成的脚印投射在哪个位置，沿Y轴方向上的距离都是一样的，因此为了方便数据处理，将三维空间坐标X1和三维空间坐标X2的Y轴值固定为0。
具体的，kinect体感器采集到人体左右脚骨的信息后，发送至一控制模块，该控制模块根据人体左右脚骨的信息在模拟画面上生成模拟脚印，然后根据缩放比例值Scal得到待投射脚印的信息发送至投影模块，以通过投影模块在投射区域投射脚印；但在实际应用中发现，投射的脚印位置与人体脚骨的位置不对应，即投射的脚印的脚后跟位置在投射区域的长度方向和宽度方向上会发生偏移距离、投射的脚印的脚后跟和脚尖所在线条相对于Y轴会发生偏差旋转角度，通过优化偏移距离和偏差旋转角度提高投射的脚印位置与人体脚骨的位置的契合度，提高投射脚印跟踪人体脚骨的跟踪效果，提高用户的体验趣味性。
进一步，步骤S3中投射脚印的方法包括：通过投射模块将待生成的脚印投射在投射区域内。
具体的，所述投射模块例如但不限于采用投影机。
综上所述，本实时步伐跟踪系统通过人体信息采集模块采集投射区域内的人体脚骨信息，经所述控制模块对人体脚骨信息处理后，通过所述投影模块在投射区域内投射相应的脚印，投射的脚印例如但不限于动物脚印，如恐龙脚印；且投射的脚印位置对应人体脚骨的位置，使投射的脚印起到跟踪人体脚骨的效果，使用户产生好奇心和玩乐心，进而提高用户的体验趣味性，同时还可以通过投射的脚印形状，对用户进行相关知识的科普，在娱乐的同时不忘科教。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (6)
1.一种基于体感捕捉设备的实时步伐跟踪系统，其特征在于，包括：
控制模块，人体信息采集模块和投影模块；
所述人体信息采集模块适于采集投影模块的投射区域内的人体脚骨信息，并发送至所述控制模块；
所述控制模块对人体脚骨信息进行处理，以将相应的脚印生成指令发送至所述投影模块；以及
所述投影模块适于根据脚印生成指令在投射区域内投射相应的脚印。
2.根据权利要求1所述的基于体感捕捉设备的实时步伐跟踪系统，其特征在于，
所述人体信息采集模块采用kinect体感器；
所述kinect体感器吊装在投射区域的上方侧面。
3.一种基于体感捕捉设备的实时步伐生成方法，其特征在于，包括：
步骤S1，采集人体脚骨信息；
步骤S2，获得待生成脚印的信息；以及
步骤S3，投射脚印。
4.根据权利要求3所述的基于体感捕捉设备的步伐生成方法，其特征在于，
步骤S1中采集人体脚骨信息的方法包括：
通过一吊装的kinect体感器采集一投射模块的投射区域内的人体左脚脚骨和右脚脚骨信息，即
设定kinect体感器为三维空间坐标的原点；
设定kinect体感器采集的左脚脚骨的三维空间坐标为(pos1.x，pos1.y，pos1.z)和左脚脚骨相对于各坐标轴的旋转角度为Rot1.x，Rot1.y，Rot1.z；以及
设定kinect体感器采集的右脚脚骨的三维空间坐标为(pos2.x，pos2.y，pos2.z)和右脚脚骨相对于各坐标轴的旋转角度为Rot2.x，Rot2.y，Rot2.z。
5.根据权利要求4所述的基于体感捕捉设备的步伐生成方法，其特征在于，
步骤S2中获得待生成脚印的信息的方法包括如下子步骤：
步骤S21，根据投射区域的大小和模拟画面的大小算出缩放比例值Scal，即
步骤S22，设定投射区域内的人体脚骨与模拟画面内的脚印之间在投射区域长度方向上(即X轴方向)和宽度方向上(即Z轴方向)的偏移距离分别为RemoveX、RemoveZ，并设定投射区域内的人体脚骨与模拟画面内的脚印之间在Y轴方向上的偏差旋转角度为Ang；
步骤S23，根据上述参数算出待生成脚印的信息，即
左脚印的三维空间坐标X1和左脚印的脚尖、脚后跟与各坐标轴之间的夹角角度J1分别由下式算出：
J1＝(Rot1.x,Rot1.y+Ang,Rot1.z)；
右脚印的三维空间坐标X2和右脚印的旋转角度J2分别由下式算出：
J2＝(Rot2.x,Rot1.y+Ang,Rot2.z)。
6.根据权利要求5所述的基于体感捕捉设备的步伐生成方法，其特征在于，
步骤S3中投射脚印的方法包括：
通过投射模块将待生成的脚印投射在投射区域内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911131983.1A CN110743160B (zh) | 2019-11-19 | 2019-11-19 | 基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911131983.1A CN110743160B (zh) | 2019-11-19 | 2019-11-19 | 基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110743160A true CN110743160A (zh) | 2020-02-04 |
| CN110743160B CN110743160B (zh) | 2023-08-11 |
Family
ID=69283661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911131983.1A Active CN110743160B (zh) | 2019-11-19 | 2019-11-19 | 基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110743160B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111580676A (zh) * | 2020-05-20 | 2020-08-25 | 深圳中科盾科技有限公司 | 脚势识别全向控制系统及其实现方法 |
| CN112699783A (zh) * | 2020-12-29 | 2021-04-23 | 深圳力维智联技术有限公司 | 脚印识别方法、装置以及计算机可读存储介质 |
| CN114432098A (zh) * | 2022-01-27 | 2022-05-06 | 中山大学附属第一医院 | 一种基于模型的步态矫正装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9916102D0 (en) * | 1999-07-10 | 1999-09-08 | Ibm | Feet measuring |
| KR20110121125A (ko) * | 2010-04-30 | 2011-11-07 | 삼성전자주식회사 | 인터랙티브 디스플레이 장치 및 이의 동작 방법 |
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| CN106971050A (zh) * | 2017-04-18 | 2017-07-21 | 华南理工大学 | 一种基于Kinect的Darwin机器人关节映射解析方法 |
| CN206350095U (zh) * | 2016-05-30 | 2017-07-21 | 青岛量子智能科技有限公司 | 一种基于人体动态跟踪的三维影像系统 |
| CN107220617A (zh) * | 2017-05-25 | 2017-09-29 | 哈尔滨工业大学 | 人体姿态识别系统及方法 |
| CN107420991A (zh) * | 2017-07-25 | 2017-12-01 | 珠海格力电器股份有限公司 | 柜式空调及柜式空调的投影显示方法 |
| CN108272321A (zh) * | 2018-03-12 | 2018-07-13 | 天津云瑞地毯有限公司 | 一种可通过踩踏发光的地毯 |
| CN109064487A (zh) * | 2018-07-02 | 2018-12-21 | 中北大学 | 一种基于Kinect骨骼节点位置追踪的人体姿势比较方法 |
| CN109453508A (zh) * | 2018-10-29 | 2019-03-12 | 奇想空间（北京）教育科技有限公司 | 基于七巧板的游乐设备 |
| CN110457980A (zh) * | 2018-05-08 | 2019-11-15 | 上海梓琰信息科技有限公司 | 一种人体影像识别方法 |
-
2019
- 2019-11-19 CN CN201911131983.1A patent/CN110743160B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9916102D0 (en) * | 1999-07-10 | 1999-09-08 | Ibm | Feet measuring |
| KR20110121125A (ko) * | 2010-04-30 | 2011-11-07 | 삼성전자주식회사 | 인터랙티브 디스플레이 장치 및 이의 동작 방법 |
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| CN206350095U (zh) * | 2016-05-30 | 2017-07-21 | 青岛量子智能科技有限公司 | 一种基于人体动态跟踪的三维影像系统 |
| CN106971050A (zh) * | 2017-04-18 | 2017-07-21 | 华南理工大学 | 一种基于Kinect的Darwin机器人关节映射解析方法 |
| CN107220617A (zh) * | 2017-05-25 | 2017-09-29 | 哈尔滨工业大学 | 人体姿态识别系统及方法 |
| CN107420991A (zh) * | 2017-07-25 | 2017-12-01 | 珠海格力电器股份有限公司 | 柜式空调及柜式空调的投影显示方法 |
| CN108272321A (zh) * | 2018-03-12 | 2018-07-13 | 天津云瑞地毯有限公司 | 一种可通过踩踏发光的地毯 |
| CN110457980A (zh) * | 2018-05-08 | 2019-11-15 | 上海梓琰信息科技有限公司 | 一种人体影像识别方法 |
| CN109064487A (zh) * | 2018-07-02 | 2018-12-21 | 中北大学 | 一种基于Kinect骨骼节点位置追踪的人体姿势比较方法 |
| CN109453508A (zh) * | 2018-10-29 | 2019-03-12 | 奇想空间（北京）教育科技有限公司 | 基于七巧板的游乐设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111580676A (zh) * | 2020-05-20 | 2020-08-25 | 深圳中科盾科技有限公司 | 脚势识别全向控制系统及其实现方法 |
| CN112699783A (zh) * | 2020-12-29 | 2021-04-23 | 深圳力维智联技术有限公司 | 脚印识别方法、装置以及计算机可读存储介质 |
| CN114432098A (zh) * | 2022-01-27 | 2022-05-06 | 中山大学附属第一医院 | 一种基于模型的步态矫正装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110743160B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9236032B2 (en) | Apparatus and method for providing content experience service | |
| CN110743160A (zh) | 基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法 | |
| CN105373224B (zh) | 一种基于普适计算的混合现实游戏系统及方法 | |
| CN102665838B (zh) | 用于确定和跟踪目标的肢端的方法和系统 | |
| CN102638653B (zh) | 一种基于Kinect的自动面部追踪方法 | |
| CN107115653B (zh) | 调整泳姿的装置、泳姿信息处理系统、泳姿信息处理方法 | |
| CN102549619B (zh) | 人类跟踪系统 | |
| CN103733226B (zh) | 快速的有关节运动的跟踪 | |
| CN111417443A (zh) | 交互式视频游戏系统 | |
| CN102576466A (zh) | 用于跟踪模型的系统和方法 | |
| CN107754212A (zh) | 跑步运动设备及其虚拟现实交互方法 | |
| CN113033369B (zh) | 动作捕捉方法、装置、电子设备及计算机可读存储介质 | |
| TW201123077A (en) | Animation generation system and method | |
| CN108858188A (zh) | 一种应用于人形机器人的人体转体和位移映射方法 | |
| CN111681302A (zh) | 一种3d虚拟形象的生成方法、装置、电子设备及存储介质 | |
| CN108621164A (zh) | 基于深度相机的太极推手机器人 | |
| WO2022003963A1 (ja) | データ生成方法、データ生成プログラムおよび情報処理装置 | |
| Stricker et al. | From interactive to adaptive augmented reality | |
| Kim et al. | Realtime performance animation using sparse 3D motion sensors | |
| JP2020135428A (ja) | 位置データ処理装置およびプログラム | |
| CN109621311A (zh) | 一种基于增强现实技术的帕金森症姿态步态康复训练方法 | |
| CN117475043A (zh) | 动捕数据的处理方法、装置、电子设备及存储介质 | |
| Huang et al. | Designing an exergaming system for exercise bikes using kinect sensors and Google Earth | |
| KR20160125098A (ko) | 암벽 등반 교육을 위한 애니메이션 제작 방법 및 장치, 이를 수행하기 위한 기록매체 | |
| CN112957726B (zh) | 一种虚拟运动场景的交互控制方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |