CN113003033B - 基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法 - Google Patents

基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法 Download PDF

Info

Publication number
CN113003033B
CN113003033B CN202110188634.4A CN202110188634A CN113003033B CN 113003033 B CN113003033 B CN 113003033B CN 202110188634 A CN202110188634 A CN 202110188634A CN 113003033 B CN113003033 B CN 113003033B
Authority
CN
China
Prior art keywords
push rod
garbage
connecting part
paw
vgg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110188634.4A
Other languages
English (en)
Other versions
CN113003033A (zh
Inventor
朱红娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Mechatronic Technology
Original Assignee
Nanjing Institute of Mechatronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Mechatronic Technology filed Critical Nanjing Institute of Mechatronic Technology
Priority to CN202110188634.4A priority Critical patent/CN113003033B/zh
Publication of CN113003033A publication Critical patent/CN113003033A/zh
Application granted granted Critical
Publication of CN113003033B publication Critical patent/CN113003033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Sorting Of Articles (AREA)

Abstract

基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法，本发明提出了基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法，首先，本发明提出了显著性检测算法稀疏经验模态分解对摄像头采集图像进行关键点检测，获得采集图像的显著性视图，然后把显著性视图送入VGG进行分类处理，通过StEMD_VGG模型检测出不同垃圾的所在位置，启动外部驱动电源，所述电动推杆的伸缩部伸出一定长度，所述小推杆的联接部伸出，推动推杆联接部，直至所述套环本体与所述法兰盘成一定角度，从而带动所述第一机械手爪倾斜，直到所述第一机械手爪接触到垃圾，抓取垃圾,相对于传统人工分类，效率高，节省时间，同时也避免了对工人身体的影响，使用范围广泛，结构简单。

Description

基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法
技术领域
本发明涉及智能机械臂领域，特别设计基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法。
背景技术
随着经济社会的发展与人口的逐日递增，据不完全统计，全球每天产生550 万吨生活垃圾，并且除去生活垃圾，还有各种各样其他来源的垃圾，譬如：工业垃圾、农业垃圾、建筑垃圾、医疗垃圾等等。在如今的时代，垃圾分类是可持续发展是一个必然的趋势，那么资源的循环利用就是不可或缺的一环。值得一提的是，生活垃圾中还包含有一部分有害垃圾，如果不针对处理，将会对我们生活的自然环境产生不可估量的伤害，由此看来，垃圾分类存放的确是大势所趋。
正如上述所言，全球垃圾生产速度惊人，如此巨量的垃圾如果寄希望于先集中后分类，这无疑是一个让人“闻而生畏”的工作；反之，如果从垃圾的产生源头就对其分类，对于垃圾的后续处理无疑是一条“捷径”。
目前，在垃圾分类领域，大部分垃圾依靠环保工人手动进行分类，这种分类方法效率低、工作强度大，且所处环境会对工人身体产生影响,且采用人工进行垃圾分类，效率低，浪费人力，同时，工作人员凭借自己的经验进行垃圾分类，容易出现误分类的情况。
因此，亟待提出一种智能垃圾分类技术，来突破垃圾分类效率低、容易出现误分等问题。
发明内容
为了解决上述存在问题。本发明提出一种基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法，为达此目的：
本发明提供的一种基于StEMD_VGG的智能垃圾分类抓取机械手臂，包括摄像头、小推杆、固定手爪支撑套环、法兰盘、电动推杆和第一机械手爪，所述电动推杆包括固定部和伸缩部，所述伸缩部一端嵌套在所述固定部中心孔内，并可在所述固定部内上下移动，以获得抓取垃圾需要的长度，另一端固接于所述法兰盘底面中心处，所述第一机械手爪包括连接部、联接栓、手爪支撑和手爪，所述连接部一端通过所述联接栓与所述手爪支撑一端联接，另一端固定于所述法兰盘表面上，所述摄像头固定于所述法兰盘表面上，并位于所述第一机械手爪一侧，所述手爪安装于所述手爪支撑另一端，所述小推杆包括杆固定部和联接部，所述固定手爪支撑套环包括套环本体和推杆联接部，所述套环本体紧紧套在所述手爪支撑外周壁上，所述推杆联接部一端连接于所述套环本体一侧，另一端与所述联接部一端销连接，所述联接部另一端嵌套于所述杆固定部中心孔内，并可在所述杆固定部内部上下移动，所述第一机械手爪初始位置与所述法兰盘垂直，操作人员通过所述摄像头观察到垃圾的所在位置，启动外部驱动电源，所述电动推杆的伸缩部伸出一定长度，所述小推杆的联接部伸出，推动推杆联接部，直至所述套环本体与所述法兰盘成一定角度，从而带动所述第一机械手爪倾斜，直到所述第一机械手爪接触到垃圾，抓取垃圾。通过控制机械手爪和垃圾，从摄像头判断是何垃圾，机械手爪抓住后，直接放入进分类垃圾箱，无需接触垃圾，进行分类。
作为本发明的进一步改进，所述套环本体和推杆联接部一体化做成。构造更简单，易制造。
作为本发明的进一步改进，所述第一机械手爪的手爪为两个，相对设置。两个手爪方便抓取一般形状垃圾，比如餐巾纸团或水果核等。
作为本发明的进一步改进，所述第一机械手爪的手爪为四个，对称设置。四个手爪方便抓取圆柱形垃圾时，比如烟头或矿泉水瓶等。
作为本发明的进一步改进，所述第一机械手爪数量为至少两个，均匀间隔安装在所述法兰盘表面。手爪多的情况下，可以多次抓取垃圾，抓取量增加，效率提高。
本发明提供基于StEMD_VGG的智能垃圾分类抓取机械手臂的控制方法，具体StEMD_VGG算法实现步骤为
步骤1：使用显著性检测算法StEMD对图像进行显著性检测，获得图像的显著性数据；
步骤11：以K-SVD字典为稀疏基，对数据做稀疏分解获得图像的稀疏系数，此过程可被描述为
α＝OMP(x，D) (1)
其中，OMP(·)是正交匹配追踪算法函数，x摄像头采集图像，D是K-SVD 字典，α是稀疏系数；
步骤12：对稀疏系数求符号处理，可描述为
θ＝sign(α) (2)
其中，sign(·)是求符号函数；
步骤13：以符号函数为稀疏系数对图像做重构，可描述为
y＝Dθ (3)
其中，y是重构图像数据；
步骤14：对y图像按列展开，然后对重构数据做经验模态分解，此过程可描述为
[IMF1 ... IMF5 res]＝EMD(y) (4)
其中，EMD(·)是经验模态分解函数，IMF1、IMF2、IMF3、IMF4、IMF5 是内涵模态分量，IMF1是最高频段模态分量，IMF5是最低频段模态分量，res 是残差分量；
步骤15：清空高频段模态分量IMF1、IMF2、IMF3，重构数据，重构过程可描述为
S＝IMF4+IMF5+res (5)
其中，S是数据集x经过显著性检测获得的数据的显著性特征集。
步骤2：把显著性数据送入VGG模型进行垃圾类型识别。
本发明基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法，有益效果在于：
1.本发明建立了StEMD_VGG算法，能够对垃圾进行精确分类。
2.本发明利用StEMD算法提取图像显著信息进行分类，能够有效提升 VGG模型的分类速度增加算法实时性。
3.本发明算法复杂度低，实现简单。
附图说明
图1整体示意图；
图2为图1中局部A的放大示意图；
图3是系统架构图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1-图2所示，本发明提供的一种用于垃圾分类抓取的机械手臂，包括摄像头1、小推杆2、固定手爪支撑套环3、法兰盘4、电动推杆5和第一机械手爪6，所述电动推杆5包括固定部5-1和伸缩部5-2，所述伸缩部5-2一端嵌套在所述固定部5-1中心孔内，并可在所述固定部5-1内上下移动，以获得抓取垃圾需要的长度，另一端固接于所述法兰盘4底面中心处，所述第一机械手爪6 包括连接部6-1、联接栓6-2、手爪支撑6-3和手爪6-4，所述连接部6-1一端通过所述联接栓6-2与所述手爪支撑6-3一端联接，另一端固定于所述法兰盘4 表面上，所述摄像头1固定于所述法兰盘4表面上，并位于所述第一机械手爪6 一侧，所述手爪6-4安装于所述手爪支撑6-3另一端，所述小推杆2包括杆固定部2-1和联接部2-2，所述固定手爪支撑套环3包括套环本体3-1和推杆联接部 3-2，所述套环本体3-1紧紧套在所述手爪支撑6-3外周壁上，所述推杆联接部 3-2一端连接于所述套环本体3-1一侧，另一端与所述联接部2-2一端销连接，所述联接部2-2另一端嵌套于所述杆固定部2-1中心孔内，并可在所述杆固定部 2-1内部上下移动，所述第一机械手爪6初始位置与所述法兰盘4垂直，操作人员通过所述摄像头1观察到垃圾的所在位置，启动外部驱动电源，所述电动推杆 5的伸缩部5-2伸出一定长度，所述小推杆2的联接部2-2伸出，推动推杆联接部3-2，直至所述套环本体3-1与所述法兰盘4成一定角度，从而带动所述第一机械手爪6倾斜，直到所述第一机械手爪6接触到垃圾，抓取垃圾。通过控制机械手爪和垃圾，从摄像头判断是何垃圾，机械手爪抓住后，直接放入进分类垃圾箱，无需接触垃圾，进行分类。
所述套环本体3-1和推杆联接部3-2一体化做成。构造更简单，易制造。
所述第一机械手爪6的手爪6-4为两个，相对设置。两个手爪方便抓取一般形状垃圾，比如餐巾纸团或水果核等。
所述第一机械手爪6的手爪6-4为四个，对称设置。四个手爪方便抓取圆柱形垃圾时，比如烟头或矿泉水瓶等。
所述第一机械手爪6数量为至少两个，均匀间隔安装在所述法兰盘4表面。手爪多的情况下，可以多次抓取垃圾，抓取量增加，效率提高。如图所示，设置了第一机械手爪6同时也在法兰盘4上安装了第二机械手爪7和大推杆8，所述第二机械手爪7包括第二手爪7-4，所述第二手爪7-4为四个，对称设置，所述大推杆8结构与所述小推杆2相同。这样可以一次性抓取多种类的垃圾，从而提高抓取效率，节省了垃圾分类的整体时间。
如图3所示，是StEMD_VGG算法的实现框图，具体StEMD_VGG算法实现步骤为
步骤1：使用显著性检测算法StEMD对图像进行显著性检测，获得图像的显著性数据；
步骤11：以K-SVD字典为稀疏基，对数据做稀疏分解获得图像的稀疏系数，此过程可被描述为
α＝OMP(x，D) (1)
其中，OMP(·)是正交匹配追踪算法函数，x摄像头采集图像，D是K-SVD 字典，α是稀疏系数；
步骤12：对稀疏系数求符号处理，可描述为
θ＝sign(α) (2)
其中，sign(·)是求符号函数；
步骤13：以符号函数为稀疏系数对图像做重构，可描述为
y＝Dθ (3)
其中，y是重构图像数据；
步骤14：对y图像按列展开，然后对重构数据做经验模态分解，此过程可描述为
[IMF1 ... IMF5 res]＝EMD(y) (4)
其中，EMD(·)是经验模态分解函数，IMF1、IMF2、IMF3、IMF4、IMF5 是内涵模态分量，IMF1是最高频段模态分量，IMF5是最低频段模态分量，res 是残差分量；
步骤15：清空高频段模态分量IMF1、IMF2、IMF3，重构数据，重构过程可描述为
S＝IMF4+IMF5+res (5)
其中，S是数据集x经过显著性检测获得的数据的显著性特征集。
步骤2：把显著性数据送入VGG模型进行垃圾类型识别。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (1)

1.基于StEMD_VGG的智能垃圾分类抓取机械手臂的控制方法，其特征在于，用于垃圾分类抓取的机械手臂，包括摄像头(1)、小推杆(2)、固定手爪支撑套环(3)、法兰盘(4)、电动推杆(5)和第一机械手爪(6)，所述电动推杆(5)包括固定部(5-1)和伸缩部(5-2)，所述伸缩部(5-2)一端嵌套在所述固定部(5-1)中心孔内，并可在所述固定部(5-1)内上下移动，以获得抓取垃圾需要的长度，另一端固接于所述法兰盘(4)底面中心处，所述第一机械手爪(6)包括连接部(6-1)、联接栓(6-2)、手爪支撑(6-3)和手爪(6-4)，所述连接部(6-1)一端通过所述联接栓(6-2)与所述手爪支撑(6-3)一端联接，另一端固定于所述法兰盘(4)表面上，所述摄像头(1)固定于所述法兰盘(4)表面上，并位于所述第一机械手爪(6)一侧，所述手爪(6-4)安装于所述手爪支撑(6-3)另一端，所述小推杆(2)包括杆固定部(2-1)和联接部(2-2)，所述固定手爪支撑套环(3)包括套环本体(3-1)和推杆联接部(3-2)，所述套环本体(3-1)和推杆联接部(3-2)一体化做成，所述套环本体(3-1)紧紧套在所述手爪支撑(6-3)外周壁上，所述推杆联接部(3-2)一端连接于所述套环本体(3-1)一侧，另一端与所述联接部(2-2)一端销连接，所述联接部(2-2)另一端嵌套于所述杆固定部(2-1)中心孔内，并可在所述杆固定部(2-1)内部上下移动，所述第一机械手爪(6)初始位置与所述法兰盘(4)垂直，操作人员通过所述摄像头(1)观察到垃圾的所在位置，启动外部驱动电源，所述电动推杆(5)的伸缩部(5-2)伸出一定长度，所述小推杆(2)的联接部(2-2)伸出，推动推杆联接部(3-2)，直至所述套环本体(3-1)与所述法兰盘(4)成一定角度，从而带动所述第一机械手爪(6)倾斜，直到所述第一机械手爪(6)接触到垃圾，抓取垃圾，所述第一机械手爪(6)数量为至少两个，均匀间隔安装在所述法兰盘(4)表面；
具体StEMD_VGG算法实现步骤为
步骤1：使用显著性检测算法StEMD对图像进行显著性检测，获得图像的显著性数据；
步骤11：以K-SVD字典为稀疏基，对数据做稀疏分解获得图像的稀疏系数，此过程可被描述为
Figure 243756DEST_PATH_IMAGE001
（1）
其中，OMP(•)是正交匹配追踪算法函数，x摄像头采集图像，D是K-SVD字典，α是稀疏系数；
步骤12：对稀疏系数求符号处理，可描述为
Figure 852241DEST_PATH_IMAGE002
（2）
其中，sign(•)是求符号函数；
步骤13：以符号函数为稀疏系数对图像做重构，可描述为
Figure 100820DEST_PATH_IMAGE004
（3）
其中，y是重构图像数据；
步骤14：对y图像按列展开，然后对重构数据做经验模态分解，此过程可描述为
Figure 230450DEST_PATH_IMAGE005
（4）
其中，EMD(•)是经验模态分解函数，IMF1、IMF2、IMF3、IMF4、IMF5是内涵模态分量，IMF1是最高频段模态分量，IMF5是最低频段模态分量，res是残差分量；
步骤15：清空高频段模态分量IMF1、IMF2、IMF3，重构数据，重构过程可描述为
Figure DEST_PATH_IMAGE006
（5）
其中，S是数据集x经过显著性检测获得的数据的显著性特征集；
步骤2：把显著性数据送入VGG模型进行垃圾类型识别。
CN202110188634.4A 2021-02-19 2021-02-19 基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法 Active CN113003033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110188634.4A CN113003033B (zh) 2021-02-19 2021-02-19 基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110188634.4A CN113003033B (zh) 2021-02-19 2021-02-19 基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法

Publications (2)

Publication Number Publication Date
CN113003033A CN113003033A (zh) 2021-06-22
CN113003033B true CN113003033B (zh) 2022-06-07

Family

ID=76402902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188634.4A Active CN113003033B (zh) 2021-02-19 2021-02-19 基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法

Country Status (1)

Country Link
CN (1) CN113003033B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012115785A (ja) * 2010-12-02 2012-06-21 Sharp Corp 廃棄物の選別システム
CN106500735A (zh) * 2016-11-03 2017-03-15 重庆邮电大学 一种基于压缩感知的fbg信号自适应修复方法
CN107358589A (zh) * 2017-07-17 2017-11-17 桂林电子科技大学 一种结合梯度直方图与低秩约束的去噪方法
CN108058167A (zh) * 2017-12-27 2018-05-22 江苏集萃智能制造技术研究所有限公司 一种高刚度防变形液压驱动机械臂
CN108388866A (zh) * 2018-02-27 2018-08-10 海南热带海洋学院 一种植被单调变化趋势检测方法及相关装置
CN108972494A (zh) * 2018-06-22 2018-12-11 华南理工大学 一种仿人机械手抓取控制系统及其数据处理方法
CN109632310A (zh) * 2019-01-18 2019-04-16 北京化工大学 一种基于特征增强的轴承故障诊断方法
CN110482059A (zh) * 2019-08-21 2019-11-22 南京蹑波物联网科技有限公司 一种垃圾自动分类回收智能机器人及其垃圾分类方法
CN111731715A (zh) * 2020-08-03 2020-10-02 上海小方智能科技有限公司 一种可以主动分类垃圾的智能垃圾桶
CN112163490A (zh) * 2020-09-21 2021-01-01 杭州电子科技大学 一种基于场景图片的目标检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012115785A (ja) * 2010-12-02 2012-06-21 Sharp Corp 廃棄物の選別システム
CN106500735A (zh) * 2016-11-03 2017-03-15 重庆邮电大学 一种基于压缩感知的fbg信号自适应修复方法
CN107358589A (zh) * 2017-07-17 2017-11-17 桂林电子科技大学 一种结合梯度直方图与低秩约束的去噪方法
CN108058167A (zh) * 2017-12-27 2018-05-22 江苏集萃智能制造技术研究所有限公司 一种高刚度防变形液压驱动机械臂
CN108388866A (zh) * 2018-02-27 2018-08-10 海南热带海洋学院 一种植被单调变化趋势检测方法及相关装置
CN108972494A (zh) * 2018-06-22 2018-12-11 华南理工大学 一种仿人机械手抓取控制系统及其数据处理方法
CN109632310A (zh) * 2019-01-18 2019-04-16 北京化工大学 一种基于特征增强的轴承故障诊断方法
CN110482059A (zh) * 2019-08-21 2019-11-22 南京蹑波物联网科技有限公司 一种垃圾自动分类回收智能机器人及其垃圾分类方法
CN111731715A (zh) * 2020-08-03 2020-10-02 上海小方智能科技有限公司 一种可以主动分类垃圾的智能垃圾桶
CN112163490A (zh) * 2020-09-21 2021-01-01 杭州电子科技大学 一种基于场景图片的目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于经验模态分解的信号去噪》;张玉兰，张仕超;《科技视界》;20161231(第27期);第243-244页 *
《数字图像修复算法研究》;胡导林;《信息科技辑》;20161015(第10期);第33-45页 *

Also Published As

Publication number Publication date
CN113003033A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113003033B (zh) 基于StEMD_VGG的智能垃圾分类抓取机械手臂及控制方法
CN109916826A (zh) 一种基于高光谱检测的固废在线识别系统及识别方法
CN110193471A (zh) 一种城市生活垃圾智能分拣装置及方法
CN112718585A (zh) 一种废弃口罩智能识别分拣装置
CN107362981A (zh) 一种基于数据库的建筑垃圾智能分拣及远程监控系统
CN201997485U (zh) 一种垃圾自动分选装置
CN103752590A (zh) 一种回收羽绒服面料及羽绒的方法
CN110153031A (zh) 一种智能化垃圾分拣设备
Longtao et al. Kiwifruit detection of far-view and occluded fruit based on improved AlexNet
CN113231329A (zh) 一种社区生活垃圾智能分类处理系统
CN208613093U (zh) 一种柑类果实色选分级装置
Chelouati et al. Lobster detection using an Embedded 2D Vision System with a FANUC industrual robot
CN111003380A (zh) 一种智能回收垃圾的方法、系统、设备
CN206701918U (zh) 一种多传感器融合的垃圾分拣装置
CN210364300U (zh) 一种基于图像识别技术的水面垃圾分拣装置
CN112170232A (zh) 一种工业级别垃圾分类方法及装置
CN208944635U (zh) 人工分捡垃圾的辅助设备
CN214682976U (zh) 一种垃圾识别和自动分选装置
CN108889770B (zh) 床垫自动拆解分选设备及工艺
CN207325330U (zh) 一种基于数据库的建筑垃圾智能分拣及远程监控系统
CN206713934U (zh) 一种生猪屠宰分拣平台
CN115591643A (zh) 一种硅棒的料性识别和区分方法、控制装置及控制系统
CN212126363U (zh) 一种智能全自动分类回收箱
CN212952237U (zh) 护士站专用智能分类医疗垃圾装置
CN109263122A (zh) 一种智慧环卫平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant