CN111645072A - 一种基于多模字典控制策略的机器人缝制方法及系统 - Google Patents
一种基于多模字典控制策略的机器人缝制方法及系统 Download PDFInfo
- Publication number
- CN111645072A CN111645072A CN202010454636.9A CN202010454636A CN111645072A CN 111645072 A CN111645072 A CN 111645072A CN 202010454636 A CN202010454636 A CN 202010454636A CN 111645072 A CN111645072 A CN 111645072A
- Authority
- CN
- China
- Prior art keywords
- fabric
- sewing
- characteristic
- vector
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009958 sewing Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000011217 control strategy Methods 0.000 title claims abstract description 25
- 239000004744 fabric Substances 0.000 claims abstract description 97
- 239000013598 vector Substances 0.000 claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000037303 wrinkles Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009916 joint effect Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Sewing Machines And Sewing (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于多模字典控制策略的机器人缝制方法及系统,包括:获取待缝制织物的当前织物状态图像以及织物张力信息;基于获取到的信息,分别提取织物图像特征向量和张力特征向量;将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂关节角度;机械臂按照所述关节角度,控制末端执行机构操作织物,使得织物处于平整状态。本发明能够解决缝制过程中织物皱缩和形变导致机械臂缝制操作不确定问题。
Description
技术领域
本发明涉及工业机器人技术领域,尤其涉及一种基于多模字典控制策略的机器人缝制方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
在服装加工过程中,由于织物本身材料各项异性以及非均匀性,织物具有较低的抗形变能力,在缝制过程中会出现褶皱和形变问题。现有工业机器人操作刚性物体能力已经相对成熟,但是针对柔软易形变的织物操作还处于研究阶段,织物形变的不可控使得缝制过程中机器人的抓取、移动、释放等存在困难。
发明人发现,现有机器人针对织物等形变物体的操作方法大多为基于对织物的几何建模,建立织物的物理模型,使用预先设计的操作动作,这些基于模型的方法需要织物精确的材料特性,一般很难实现。
发明内容
有鉴于此,本发明提出了一种基于多模字典控制策略的机器人缝制方法及系统,在字典学习的框架下,结合力、图像等多模信息,实现机器人在缝制过程中能够防止织物形变,提高机器人操作柔性物体的能力。
为了实现上述目的,在一些实施方式中,采用如下技术方案:
一种基于多模字典控制策略的机器人缝制方法,包括:
获取待缝制织物的当前织物状态图像以及织物张力信息;
基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂关节角度(θ1,θ2...θn);
机械臂按照所述关节角度(θ1,θ2...θn),控制末端执行机构操作织物,使得织物处于平整状态。
在另一些实施方式中,采用如下技术方案:
一种基于多模字典控制策略的机器人缝制系统,包括:
信息获取模块,用于获取待缝制织物的当前织物状态图像以及织物张力信息;
特征提取模块,用于基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
特征融合模块,用于将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
机械臂角度控制模块,用于将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂各关节角度(θ1,θ2...θn)至机器人控制器,以控制机械臂各关节的角度;
动作执行模块,用于根据机械臂各关节角度(θ1,θ2...θn)控制机械臂末端执行机构操作织物,使得织物处于平整状态。
在另一些实施方式中,采用如下技术方案:
一种机器人控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行上述的基于多模字典控制策略的机器人缝制方法。
在另一些实施方式中,采用如下技术方案:
一种机器人,采用上述的基于多模字典控制策略的机器人缝制方法,实现对织物的缝制。
与现有技术相比,本发明的有益效果是:
本发明提供了解决机器人操作柔性形变物体的方案;机器人通过学习掌握缝制过程中防止织物形变的操作技能,可以自适应缝制环境的变化,解决缝制过程中织物皱缩和形变导致机械臂缝制操作不确定问题。
本发明结合视觉与力觉信息,将图像与张力信息融合判断织物缝制过程中形变,更加准确全面。
本发明的附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为本发明实施例中基于多模字典控制策略的机器人缝制过程示意图;
图2为本发明实施例中织物缝制状态特征信息融合过程示意图;
图3为本发明实施例中字典集训练与机械臂关节角度输出示意图;
图4为本发明实施例中基于多模字典控制策略的机器人缝制系统示意图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
在一个或多个实施方式中,公开了一种基于多模字典控制策略的机器人缝制方法,具体包括如下过程:
步骤(1):获取待缝制织物的当前织物状态图像以及织物张力信息;
具体地,借助RGB-D深度相机实时采集当前缝制织物状态图像I,机械臂末端六维力传感器采集当前状态织物张力F,其中,织物张力F具体包括:织物张力的力与力矩。
步骤(2):基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
具体地,参照图2,提取织物图像特征向量s(I)的过程包括:
(2-1)利用相机采集彩色图像,通过高斯混合模型分割出图像的织物部分;
(2-2)对分割后的图像进行Gabor滤波,提取出织物中的褶皱纹理图像;
(2-2)将提取的褶皱纹理图像进行离散化形成直方图网格;
(2-2)将直方图网格打散为特征列向量s(I)。
提取织物张力特征向量s(F)的过程包括:
利用六维力传感器采集织物张力信息,包括力与力矩,采用高斯滤波进行预处理,得到织物张力特征向量s(F)。
步骤(3):将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;具体过程包括:
参照图2,采用单分类器融合算法,将滤波后的张力特征列向量s(F)叠加到图像特征列向量s(I),形成缝制状态特征列向量s(I,F)。
步骤(4):将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂关节角度;
具体地,参照图3,对于过完备字典集D的训练过程包括:
收集物当前缝制状态特征列向量s(I,F)、当前缝制状态对应的机械臂各关节角度θ以及目标缝制状态对应的机械臂各关节角度θ′,作为训练库的一个样本x。收集多组样本,构成训练样本集X={x1,x2,...xm}∈Rn×m,其中n和m表示训练样本的维数与个数。
执行以下步骤直到达到迭代次数限制:
(4-1)稀疏编码阶段:先固定D,计算编码系数矩阵A:
(4-2)字典更新过程:固定系数矩阵A,利用最优方向法MOD(Method of OptimalDirection)算法,在最小化残差的情况下,计算字典D:
最终得到训练好的过完备字典集D。
将当前缝制状态特征列向量s(I,F)输入训练好的动作字典集D,得到机械臂目标动作稀疏表示矩阵A;
将max||A||1作为机械臂接下来的关节动作角度。
步骤(5):机械臂根据前文所述输出的各关节角度(θ1,θ2...θ6),通过关节控制方式,控制机械臂运动。
采用关节控制的方式进行机械臂织物缝制操作的动作调整;
判断织物状态是否平整,若是,则启动缝制设备继续进行缝制;若否,返回步骤(1),重复步骤(1)-步骤(5)的过程,直到判断织物状态为平整。
具体地,通过当前缝制状态特征列向量s(I,F),与织物平整状态下的缝制状态特征列向量s′(I,F)夹角的余弦值C度量两个向量的相似度,其中从而判断所述织物是否平整,如果|C|≥0.9,则认为织物平整。
实施例二
在一个或多个实施方式中,公开了一种基于多模字典控制策略的机器人缝制系统,具体包括:
信息获取模块,用于获取待缝制织物的当前织物状态图像以及织物张力信息;
特征提取模块,用于基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
特征融合模块,用于将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
机械臂角度控制模块,用于将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂各关节角度(θ1,θ2...θ6)至机器人控制器,以控制机械臂各关节的角度;
动作执行模块,用于根据机械臂各关节角度(θ1,θ2...θ6)控制机械臂末端执行机构操作织物,使得织物处于平整状态。
具体地,参照图4,信息获取模块包括:图像检测单元和张力检测单元,其中,图像检测单元借助RGB-D深度相机实时采集缝制织物图像信息,张力检测单元利用六维力传感器实时获得缝制过程中织物张力的力与力矩。
特征融合模块将织物图像状态信息与织物张力状态信息进行融合处理,输出各关节角度到机械臂模块,进而带动末端执行器动作,结合缝制设备的送布牙动作,协同操作织物,从而保持织物缝制紧绷平整状态。
实施例三
在一个或多个实施方式中,公开了一种机器人控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行实施例一中的基于多模字典控制策略的机器人缝制方法,为了简洁,不再赘述。
本领域普通技术人员可以意识到,结合本实施例描述的各示例的单元即算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在另外一些实施方式中,公开了一种机器人,该机器人采用实施例一中所述的基于多模字典控制策略的机器人缝制方法,实现对织物的缝制。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于多模字典控制策略的机器人缝制方法,其特征在于,包括:
获取待缝制织物的当前织物状态图像以及织物张力信息;
基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂各关节角度(θ1,θ2...θn);
机械臂按照所述关节角度(θ1,θ2...θn),控制末端执行机构操作织物,使得织物处于平整状态。
2.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,还包括:
通过当前缝制状态特征列向量,与织物平整状态下的缝制状态特征列向量夹角的余弦值,度量两个向量的相似度,判断所述织物是否平整;如果是,则认为织物平整,启动缝制设备进行缝制;否则,重复权利要求1的过程。
3.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,提取织物图像特征向量的过程包括:
通过高斯混合模型分割当前织物状态图像,提取包含织物部分的图像;
对分割提取后的图像进行滤波,提取织物中的褶皱纹理图像;
将提取的褶皱纹理图像离散成直方图网格;
将所述直方图网格打散为织物图像特征向量。
4.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,提取织物张力特征向量的过程包括:
利用六维力传感器采集织物张力信息,包括力与力矩,采用高斯滤波进行预处理,得到织物张力特征向量。
5.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,将所述织物图像特征向量和张力特征向量进行融合的过程,具体包括:
采用单分类器融合算法,将滤波后的张力特征列向量叠加到图像特征列向量,形成缝制状态特征列向量。
7.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,输出机械臂关节角度的过程,包括:
将当前缝制状态特征列向量输入训练好的动作字典集D,得到机械臂目标动作稀疏表示矩阵A;
将max||A||1作为机械臂接下来的关节动作角度。
8.一种基于多模字典控制策略的机器人缝制系统,其特征在于,包括:
信息获取模块,用于获取待缝制织物的当前织物状态图像以及织物张力信息;
特征提取模块,用于基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
特征融合模块,用于将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
机械臂角度控制模块,用于将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂各关节角度(θ1,θ2...θn)至机器人控制器,以控制机械臂各关节的角度;
动作执行模块,用于根据机械臂各关节角度(θ1,θ2...θn)控制机械臂末端执行机构操作织物,使得织物处于平整状态。
9.一种机器人控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行权利要求1-7任一项所述的基于多模字典控制策略的机器人缝制方法。
10.一种机器人,其特征在于,采用权利要求1-7任一项所述的基于多模字典控制策略的机器人缝制方法,实现对织物的缝制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010454636.9A CN111645072B (zh) | 2020-05-26 | 2020-05-26 | 一种基于多模字典控制策略的机器人缝制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010454636.9A CN111645072B (zh) | 2020-05-26 | 2020-05-26 | 一种基于多模字典控制策略的机器人缝制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111645072A true CN111645072A (zh) | 2020-09-11 |
CN111645072B CN111645072B (zh) | 2021-09-24 |
Family
ID=72352286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010454636.9A Active CN111645072B (zh) | 2020-05-26 | 2020-05-26 | 一种基于多模字典控制策略的机器人缝制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111645072B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257655A (zh) * | 2020-11-09 | 2021-01-22 | 西安工程大学 | 一种机器人识别人体缝纫动作的方法 |
CN113151989A (zh) * | 2021-04-19 | 2021-07-23 | 山东大学 | 布料处理方法、系统及缝制机器人 |
CN114723831A (zh) * | 2022-03-25 | 2022-07-08 | 山东大学 | 基于启发式的机器人柔性织物展平方法及系统 |
WO2024077436A1 (en) * | 2022-10-10 | 2024-04-18 | Centre For Garment Production Limited | Fabric-handling dual-manipulator system with fabric rolling-up end-effectors |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014067174A (ja) * | 2012-09-25 | 2014-04-17 | Nippon Telegr & Teleph Corp <Ntt> | 画像分類装置及び画像識別装置並びにプログラム |
CN104616291A (zh) * | 2015-01-15 | 2015-05-13 | 东华大学 | 一种基于稀疏编码的织物外观平整度评价方法 |
CN107943972A (zh) * | 2017-11-28 | 2018-04-20 | 惠龙易通国际物流股份有限公司 | 一种智能应答方法及其系统 |
CN110629493A (zh) * | 2018-06-21 | 2019-12-31 | 青岛海尔智能技术研发有限公司 | 一种叠衣机及其控制方法 |
CN110735236A (zh) * | 2019-11-27 | 2020-01-31 | 重庆智能机器人研究院 | 一种机器人缝纫装置 |
CN110820181A (zh) * | 2019-12-10 | 2020-02-21 | 北京华美丽服饰有限公司 | 一种缝纫设备及其使用方法 |
-
2020
- 2020-05-26 CN CN202010454636.9A patent/CN111645072B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014067174A (ja) * | 2012-09-25 | 2014-04-17 | Nippon Telegr & Teleph Corp <Ntt> | 画像分類装置及び画像識別装置並びにプログラム |
CN104616291A (zh) * | 2015-01-15 | 2015-05-13 | 东华大学 | 一种基于稀疏编码的织物外观平整度评价方法 |
CN107943972A (zh) * | 2017-11-28 | 2018-04-20 | 惠龙易通国际物流股份有限公司 | 一种智能应答方法及其系统 |
CN110629493A (zh) * | 2018-06-21 | 2019-12-31 | 青岛海尔智能技术研发有限公司 | 一种叠衣机及其控制方法 |
CN110735236A (zh) * | 2019-11-27 | 2020-01-31 | 重庆智能机器人研究院 | 一种机器人缝纫装置 |
CN110820181A (zh) * | 2019-12-10 | 2020-02-21 | 北京华美丽服饰有限公司 | 一种缝纫设备及其使用方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257655A (zh) * | 2020-11-09 | 2021-01-22 | 西安工程大学 | 一种机器人识别人体缝纫动作的方法 |
CN113151989A (zh) * | 2021-04-19 | 2021-07-23 | 山东大学 | 布料处理方法、系统及缝制机器人 |
CN114723831A (zh) * | 2022-03-25 | 2022-07-08 | 山东大学 | 基于启发式的机器人柔性织物展平方法及系统 |
CN114723831B (zh) * | 2022-03-25 | 2024-08-06 | 山东大学 | 基于启发式的机器人柔性织物展平方法及系统 |
WO2024077436A1 (en) * | 2022-10-10 | 2024-04-18 | Centre For Garment Production Limited | Fabric-handling dual-manipulator system with fabric rolling-up end-effectors |
Also Published As
Publication number | Publication date |
---|---|
CN111645072B (zh) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111645072B (zh) | 一种基于多模字典控制策略的机器人缝制方法及系统 | |
Romero et al. | Monocular real-time 3D articulated hand pose estimation | |
Lepora et al. | Optimal deep learning for robot touch: Training accurate pose models of 3D surfaces and edges | |
Yu et al. | Siamese convolutional neural network for sub-millimeter-accurate camera pose estimation and visual servoing | |
Cockbum et al. | Grasp stability assessment through unsupervised feature learning of tactile images | |
CN110238840B (zh) | 一种基于视觉的机械臂自主抓取方法 | |
CN111695562A (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
Sutanto et al. | Learning latent space dynamics for tactile servoing | |
CN110942512B (zh) | 基于元学习的室内场景重建方法 | |
CN114723831B (zh) | 基于启发式的机器人柔性织物展平方法及系统 | |
Mou et al. | Pose estimation and robotic insertion tasks based on YOLO and layout features | |
Zhang et al. | Learning Riemannian stable dynamical systems via diffeomorphisms | |
Takamatsu et al. | Recognizing assembly tasks through human demonstration | |
CN117340929A (zh) | 一种基于三维点云数据的柔性夹爪抓取处置装置及方法 | |
CN117381793A (zh) | 一种基于深度学习的物料智能检测视觉系统 | |
Kipkosgei et al. | Real time object detection using single shot multibox detector network for autonomous robotic arm | |
CN115187781B (zh) | 一种基于语义分割网络的六自由度抓取检测方法 | |
Tian et al. | Real-time pose tracking of 3D targets by photo-model-based stereo-vision | |
Zhang et al. | A residual reinforcement learning method for robotic assembly using visual and force information | |
CN115958595A (zh) | 机械臂引导方法、装置、计算机设备和存储介质 | |
Romero et al. | Human-to-robot mapping of grasps | |
Song et al. | Tactile–visual fusion based robotic grasp detection method with a reproducible sensor | |
CN115147899A (zh) | 基于标签分布和有监督空间变换网络的头部姿态估计方法 | |
Berry et al. | Real time visual servoing around a complex object | |
Chemelil | Single Shot Multi Box Detector Approach to Autonomous Vision-Based Pick and Place Robotic Arm in the Presence of Uncertainties |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |