CN109297969A - 一种烟叶流水线杂质检测方法及系统 - Google Patents

一种烟叶流水线杂质检测方法及系统 Download PDF

Info

Publication number
CN109297969A
CN109297969A CN201811478769.9A CN201811478769A CN109297969A CN 109297969 A CN109297969 A CN 109297969A CN 201811478769 A CN201811478769 A CN 201811478769A CN 109297969 A CN109297969 A CN 109297969A
Authority
CN
China
Prior art keywords
image
assembly line
processing apparatus
output device
tobacco leaf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811478769.9A
Other languages
English (en)
Other versions
CN109297969B (zh
Inventor
王丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gengkui Trading Co Ltd
Original Assignee
Shanghai Gengkui Trading Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gengkui Trading Co Ltd filed Critical Shanghai Gengkui Trading Co Ltd
Priority to CN201811478769.9A priority Critical patent/CN109297969B/zh
Publication of CN109297969A publication Critical patent/CN109297969A/zh
Application granted granted Critical
Publication of CN109297969B publication Critical patent/CN109297969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/86Investigating moving sheets

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种烟叶流水线杂质检测方法及系统,属于工业自动化领域。其中检测方法包括图像采集装置拍摄流水线的图像传给图像处理装置,图像处理装置识别图像上杂物的位置及尺寸,图像处理装置把图像采集装置的图像上杂物的位置坐标转换为图像输出装置的图像的坐标及尺寸;图像处理装置生成标识出杂物区域的图像,传输给图像输出装置;图像输出装置将图像以人眼可见的方式展示。本发明通过机器学习的一种神经网络算法计算图像中的杂质位置及尺寸,并以投影的方式用可见光标记把流水线上杂质标记出来,以达到提示工作人员将杂物剔除的目的。

Description

一种烟叶流水线杂质检测方法及系统
技术领域
本发明属于烟草工业领域,具体讲就是涉及了一种烟叶流水线杂质检测方法及系统,利用现有技术混合使用对烟叶流水线杂质进行检测。
背景技术
近年随着生活水平的提高,消费者对各个档次的香烟品牌有了更高且多样化的要求,随着烟叶产地的多元化使香烟的品质控制受到更加重视,其中制丝环节的烟叶杂质剔除环节由于杂质种类繁多、杂质与非杂质难以剥离、流水线流速快等因素在部分除杂环节依然依赖工作人员的知识经验和技能的熟练程度进行人工辨识和剔除工作,但随着品控要求的提高,产量的扩大现有的人工除杂的方式已经无法满足生产的需要。因此如何在保证品控水平的前提下,减少对人的知识经验、注意力、反应速度的依赖程度,降低工作人员的劳动强度成为烟叶除杂生产过程中需要解决的技术难题。
发明内容
本发明的目的就是针对上述现有的烟叶除杂生产过程中凭人工对除杂品质进行管控难以保证除杂效果的技术缺陷,提供一种烟叶流水线杂质检测方法及系统,从流水线上快速运动的混有杂质的原材料中找出杂质,并以混合现实技术将标识后的结果投射到流水线的原材上,方便工作人员以视觉方式辨别,提高除杂效率和准确度,降低了工人的劳动强度。
技术方案
为了实现上述技术目的,本发明提供了一种烟叶流水线杂质检测方法,其特征在于,它包括以下几个步骤:
(1)将图像采集装置拍摄到的流水线的图像传给图像处理装置;
(2)图像处理装置识别图像上杂物的位置及尺寸;
(3)图像处理装置把图像采集装置的图像上杂物的位置坐标转换为图像输出装置的图像的坐标及尺寸;
(4)图像处理装置生成标识出杂物区域的图像,传输给图像输出装置;
(5)图像输出装置将图像以人眼可见的方式展示。
进一步,所述步骤(1)中图像采集装置固定在流水线的上方,将拍摄的范围覆盖需要检测的流水线的区域,该区域至少需要包含可能掺杂着杂质的原材料以及传送带。
进一步,所述步骤(1)中图像采集装置使用摄像机或照相机或红外接收器或超声波接收器可以接收可见光、非可见光、声波、震动、电磁信号灯物理特征并将其转化为数字或模拟信号的传感器,图像可以在图像采集装置合成也可以将原始数据传输到图像处理装置后合成。
进一步,所述步骤(2)中图像处理装置对采集到的图像中的物体进行识别,判断哪些为杂质哪些为非杂质,并计算杂质在图像中坐标及尺寸。
进一步,所述步骤(3)中图像处理装置将获得的杂质在采集图像中的坐标及尺寸转换到投射图像中的坐标及尺寸,传输到下一步。
进一步,所述转换的方式使用基于非线性模型的空间映射。
进一步,所述非线性模型的空间映射包括神经网络或支持向量机或逻辑回归方式。
进一步,步骤(3)中用于坐标转换的模型需要进行预先标定,标定步骤包括:
(a)先约定一个易于识别点或圆圈的作为特征;
(b)生成一幅包含此识别特征的图像;
(c)使用已固定位置和角度的图像输出设备投射此幅图像到流水线上;
(d)然后使用已固定位置和角度的图像采集设备拍摄这幅投射的图像,通过K-means或DBSCAN的聚类算法推测出属于该特征的点的集合;
(e)根据点的集合的坐标计算出该集合的中心点位置、宽度和高度;
(f)采集图像上的中心点作为模型的输入样本、投射图像上的中心点作为模型的输出样本进行保存;
(g)不断重复步骤(b)至(f),使输入样本尽可能覆盖图像输出设备的整个投射区域;
(h)使用已获得的输入输出样本训练非线性模型,使之能够通过采集图像的某个中心点坐标、宽度和高度推测出投射图像中对应点的中心点坐标、宽度和高度。
进一步,所述步骤(h)中图像处理装置将获得中心点坐标、宽度和高度以拥有中心点坐标、宽度及高度的椭圆或矩形作为易于工作人员辨认的简单图形生成以黑色为背景、以亮色为图形标识的投射图像传输给步骤(5);
所述图像输出装置将投射图像投射到流水线上;
所述图像输出装置包括光学投影仪或激光投影仪或激光指示器。
一种烟叶流水线杂质检测系统,其特征在于:它包括图像采集装置、图像处理装置、图像输出装置、传送带、杂质、非杂质、采集的图像、输出的图像和标记,所述的图像采集装置与所述的图像处理装置相连,将所述的采集的图像传输给所述的图像处理装置,所述的图像处理装置与所述的图像输出装置相连,将所述的输出的图像传输给所述的图像输出装置。
有益效果
本发明提供的一种烟叶流水线杂质检测方法及系统,通过混合现实和机器学习的方式对流水线上原料中掺杂的杂质进行识别并以人可见的方式进行标识,提高杂质识别的时效性、识别标准的一致性,降低了对人员的知识经验、反映速度、技能的熟练程度以及长时间工作的注意力的依赖程度,有效地保证了品质控制的要求。
附图说明
图1为本发明实施例检测方法流程图;
图2为本发明实施例的系统结构示意图;
图3为本发明的转换模型的校正方式的工作流程图。
具体实施方式
下面结合附图,根据下面的详细描述,可以更加清楚地理解本发明。
本系统通过流水线上采集的图像,经过杂质识别、坐标系转换、图像生成之后,将标记有杂质位置和尺寸的图像投射到流水线上,以供工作人员辨识。
如附图2所示,一种烟叶流水线杂质检测系统,它包括图像采集装置1、图像处理装置2、图像输出装置3、传送带4、杂质5、非杂质6、采集的图像7、输出的图像8和标记9,所述的图像采集装置1与所述的图像处理装置2相连,将所述的采集的图像(7传输给所述的图像处理装置2,所述的图像处理装置2与所述的图像输出装置(3相连,将所述的输出的图像8传输给所述的图像输出装置3。
如附图1所示,利用上述烟叶流水线杂质检测系统对烟叶杂质进行检测的方法,它包括以下几个步骤:
第一步,将图像采集装置拍摄到的流水线的图像传给图像处理装置;
其中,图像采集装置固定在流水线的上方,将拍摄的范围覆盖需要检测的流水线的区域,该区域至少需要包含可能掺杂着杂质的原材料以及传送带。
图像采集装置使用摄像机或照相机或红外接收器或超声波接收器可以接收可见光、非可见光、声波、震动、电磁信号灯物理特征并将其转化为数字或模拟信号的传感器,图像可以在图像采集装置合成也可以将原始数据传输到图像处理装置后合成。
第二步,图像处理装置识别图像上杂物的位置及尺寸;具体就是图像处理装置对采集到的图像中的物体进行识别,判断哪些为杂质哪些为非杂质,并计算杂质在图像中坐标及尺寸。
第三步,图像处理装置把图像采集装置的图像上杂物的位置坐标转换为图像输出装置的图像的坐标及尺寸;具体就是图像处理装置将获得的杂质在采集图像中的坐标及尺寸转换到投射图像中的坐标及尺寸,传输到下一步,所述转换的方式使用基于非线性模型的空间映射,进一步,所述非线性模型的空间映射包括神经网络或支持向量机或逻辑回归方式。
如附图3所示,其中,用于坐标转换的模型需要进行预先标定,标定步骤包括:
(a)先约定一个易于识别点或圆圈的作为特征;
(b)生成一幅包含此识别特征的图像;
(c)使用已固定位置和角度的图像输出设备投射此幅图像到流水线上;
(d)然后使用已固定位置和角度的图像采集设备拍摄这幅投射的图像,通过K-means或DBSCAN的聚类算法推测出属于该特征的点的集合;
(e)根据点的集合的坐标计算出该集合的中心点位置、宽度和高度;
(f)采集图像上的中心点作为模型的输入样本、投射图像上的中心点作为模型的输出样本进行保存;
(g)不断重复步骤(b)至(f),使输入样本尽可能覆盖图像输出设备的整个投射区域;
(h)使用已获得的输入输出样本训练非线性模型,使之能够通过采集图像的某个中心点坐标、宽度和高度推测出投射图像中对应点的中心点坐标、宽度和高度。所述图像处理装置将获得中心点坐标、宽度和高度以拥有中心点坐标、宽度及高度的椭圆或矩形作为易于工作人员辨认的简单图形生成以黑色为背景、以亮色为图形标识的投射图像传输给步骤(5);
所述图像输出装置将投射图像投射到流水线上;
所述图像输出装置包括光学投影仪或激光投影仪或激光指示器。
第四步,图像处理装置生成标识出杂物区域的图像,传输给图像输出装置;
第五步,图像输出装置将图像以人眼可见的方式展示。
本实施例中的图像采集装置采用拥有GigE的彩色工业相机以1/960秒的快门速度对流水线进行每秒8帧的拍摄,将图像用以太网的方式传给图像处理装置。
本实施例中的图像处理装置采用X86的平台架构处理器,运行windows7支持POE的图像采集卡,该图像采集卡将接收的图像转换为视频流,由运行在windows7上的识别程序通过PCIe x4读取视频流,将其切成所需要图像帧数后逐一识别图像上杂质并把杂质的中心点的坐标、宽和高通过坐标系转换模型转换成投射图像所在坐标系的特征中心点的坐标、宽和高,其中坐标系中X轴的下限为0上线为1920,Y轴的下限为0,上限为1080,以这个坐标系表示一幅1920X1080的图像,然后将一个颜色为白色、对角线交点为特征中心点坐标、宽为特征的宽、高位特征的告的矩形画在一幅底色为黑色的1920X1080的图像上,并以HDMI的方式传输给图像输出装置。
本方案中的图像输出装置是支持HDMI接口输入和1920X1080的图像投射的投影仪,将接收到图像投射到流水线上,是工作人员能够快速地找到标识杂质的矩形框进而发现杂质及时排除。
根据上述说明书的揭示和教导,本发明所属领域的技术人员还能够对上述实施方式进行变更和修改。因此,本发明并不局限于上述的具体实施方式,凡是本领域技术人员在本发明的基础上所作出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对本专利构成任何限制。

Claims (10)

1.一种烟叶流水线杂质检测方法,其特征在于,它包括以下几个步骤:
(1)将图像采集装置拍摄到的流水线的图像传给图像处理装置;
(2)图像处理装置识别图像上杂物的位置及尺寸;
(3)图像处理装置把图像采集装置的图像上杂物的位置坐标转换为图像输出装置的图像的坐标及尺寸;
(4)图像处理装置生成标识出杂物区域的图像,传输给图像输出装置;
(5)图像输出装置将图像以人眼可见的方式展示。
2.如权利要求1所述的一种烟叶流水线杂质检测方法,其特征在于:所述步骤(1)中图像采集装置固定在流水线的上方,将拍摄的范围覆盖需要检测的流水线的区域,该区域至少需要包含可能掺杂着杂质的原材料以及传送带。
3.如权利要求1所述的一种烟叶流水线杂质检测方法,其特征在于:所述步骤(1)中图像采集装置使用摄像机或照相机或红外接收器或超声波接收器可以接收可见光、非可见光、声波、震动、电磁信号灯物理特征并将其转化为数字或模拟信号的传感器,图像可以在图像采集装置合成也可以将原始数据传输到图像处理装置后合成。
4.如权利要求1所述的一种烟叶流水线杂质检测方法,其特征在于:所述步骤(2)中图像处理装置对采集到的图像中的物体进行识别,判断哪些为杂质哪些为非杂质,并计算杂质在图像中坐标及尺寸。
5.如权利要求1所述的一种烟叶流水线杂质检测方法,其特征在于:所述步骤(3)中图像处理装置将获得的杂质在采集图像中的坐标及尺寸转换到投射图像中的坐标及尺寸,传输到下一步。
6.如权利要求5所述的一种烟叶流水线杂质检测方法,其特征在于:所述转换的方式使用基于非线性模型的空间映射。
7.如权利要求6所述的一种烟叶流水线杂质检测方法,其特征在于:所述非线性模型的空间映射包括神经网络或支持向量机或逻辑回归方式。
8.如权利要求1所述的一种烟叶流水线杂质检测方法,其特征在于:所述步骤(3)中用于坐标转换的模型需要进行预先标定,标定步骤包括:
(a)先约定一个易于识别点或圆圈的作为特征;
(b)生成一幅包含此识别特征的图像;
(c)使用已固定位置和角度的图像输出设备投射此幅图像到流水线上;
(d)然后使用已固定位置和角度的图像采集设备拍摄这幅投射的图像,通过K-means或DBSCAN的聚类算法推测出属于该特征的点的集合;
(e)根据点的集合的坐标计算出该集合的中心点位置、宽度和高度;
(f)采集图像上的中心点作为模型的输入样本、投射图像上的中心点作为模型的输出样本进行保存;
(g)不断重复步骤(b)至(f),使输入样本尽可能覆盖图像输出设备的整个投射区域;
(h)使用已获得的输入输出样本训练非线性模型,使之能够通过采集图像的某个中心点坐标、宽度和高度推测出投射图像中对应点的中心点坐标、宽度和高度。
9.如权利要求8所述的一种烟叶流水线杂质检测方法,其特征在于:所述步骤(h)中图像处理装置将获得中心点坐标、宽度和高度以拥有中心点坐标、宽度及高度的椭圆或矩形作为易于工作人员辨认的简单图形生成以黑色为背景、以亮色为图形标识的投射图像传输给步骤(5);
所述图像输出装置将投射图像投射到流水线上;
所述图像输出装置包括光学投影仪或激光投影仪或激光指示器。
10.一种烟叶流水线杂质检测系统,其特征在于:它包括图像采集装置(1)、图像处理装置(2)、图像输出装置(3)、传送带(4)、杂质(5)、非杂质(6)、采集的图像(7)、输出的图像(8)和标记(9),所述的图像采集装置(1)与所述的图像处理装置(2)相连,将所述的采集的图像(7)传输给所述的图像处理装置(2),所述的图像处理装置(2)与所述的图像输出装置(3)相连,将所述的输出的图像(8)传输给所述的图像输出装置(3)。
CN201811478769.9A 2018-12-05 2018-12-05 一种烟叶流水线杂质检测方法及系统 Active CN109297969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811478769.9A CN109297969B (zh) 2018-12-05 2018-12-05 一种烟叶流水线杂质检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811478769.9A CN109297969B (zh) 2018-12-05 2018-12-05 一种烟叶流水线杂质检测方法及系统

Publications (2)

Publication Number Publication Date
CN109297969A true CN109297969A (zh) 2019-02-01
CN109297969B CN109297969B (zh) 2021-12-07

Family

ID=65142669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811478769.9A Active CN109297969B (zh) 2018-12-05 2018-12-05 一种烟叶流水线杂质检测方法及系统

Country Status (1)

Country Link
CN (1) CN109297969B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288009A (zh) * 2019-06-12 2019-09-27 安阳鑫炬环保设备制造有限公司 基于神经网络的链板式物料筛选传送方法
CN112577960A (zh) * 2020-12-07 2021-03-30 上海威士顿信息技术股份有限公司 烟叶中的杂质检测方法、系统及计算机可读存储介质
CN112800909A (zh) * 2021-01-19 2021-05-14 红云红河烟草(集团)有限责任公司 一种自学习型的烟丝杂物视像检测方法
CN112819796A (zh) * 2021-02-05 2021-05-18 杭州天宸建筑科技有限公司 烟丝异物识别方法及设备
CN112883797A (zh) * 2021-01-19 2021-06-01 红云红河烟草(集团)有限责任公司 一种基于Yolo V3模型的烟丝杂物检测方法
CN113030181A (zh) * 2019-12-24 2021-06-25 阿特斯光伏电力(洛阳)有限公司 硅棒杂质点位置判定方法
CN113210264A (zh) * 2021-05-19 2021-08-06 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113317548A (zh) * 2021-06-10 2021-08-31 广东中烟工业有限责任公司 一种打叶复烤除杂装置、方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103801514A (zh) * 2014-01-25 2014-05-21 湖南中烟工业有限责任公司 一种制丝线烟叶自动化精选装置及方法
CN104655652A (zh) * 2013-11-25 2015-05-27 王健 基于机器视觉的烟草杂质分拣剔除系统
CN108613987A (zh) * 2018-05-15 2018-10-02 南京焦耳科技有限责任公司 烟支外观实时在线检测剔除装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104655652A (zh) * 2013-11-25 2015-05-27 王健 基于机器视觉的烟草杂质分拣剔除系统
CN103801514A (zh) * 2014-01-25 2014-05-21 湖南中烟工业有限责任公司 一种制丝线烟叶自动化精选装置及方法
CN108613987A (zh) * 2018-05-15 2018-10-02 南京焦耳科技有限责任公司 烟支外观实时在线检测剔除装置及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288009A (zh) * 2019-06-12 2019-09-27 安阳鑫炬环保设备制造有限公司 基于神经网络的链板式物料筛选传送方法
CN113030181A (zh) * 2019-12-24 2021-06-25 阿特斯光伏电力(洛阳)有限公司 硅棒杂质点位置判定方法
CN112577960A (zh) * 2020-12-07 2021-03-30 上海威士顿信息技术股份有限公司 烟叶中的杂质检测方法、系统及计算机可读存储介质
CN112577960B (zh) * 2020-12-07 2024-05-24 上海威士顿信息技术股份有限公司 烟叶中的杂质检测方法、系统及计算机可读存储介质
CN112800909A (zh) * 2021-01-19 2021-05-14 红云红河烟草(集团)有限责任公司 一种自学习型的烟丝杂物视像检测方法
CN112883797A (zh) * 2021-01-19 2021-06-01 红云红河烟草(集团)有限责任公司 一种基于Yolo V3模型的烟丝杂物检测方法
CN112819796A (zh) * 2021-02-05 2021-05-18 杭州天宸建筑科技有限公司 烟丝异物识别方法及设备
CN113210264A (zh) * 2021-05-19 2021-08-06 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113210264B (zh) * 2021-05-19 2023-09-05 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113317548A (zh) * 2021-06-10 2021-08-31 广东中烟工业有限责任公司 一种打叶复烤除杂装置、方法、设备及介质
CN113317548B (zh) * 2021-06-10 2022-09-13 广东中烟工业有限责任公司 一种打叶复烤除杂装置、方法、设备及介质

Also Published As

Publication number Publication date
CN109297969B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN109297969A (zh) 一种烟叶流水线杂质检测方法及系统
US9953375B2 (en) Work management system and work management method
CN110163191B (zh) 一种危险品智能识别方法、系统及危险品安检系统
US6554431B1 (en) Method and apparatus for image projection, and apparatus controlling image projection
CN106226157B (zh) 混凝土构件裂缝自动检测装置及方法
KR102503116B1 (ko) 인공지능 머신러닝 학습을 위한 데이터셋 자동 생성 장치와 그의 제어 방법
CN106339094A (zh) 基于增强现实技术的交互式远程专家协作检修系统及方法
CN111912850A (zh) 一种基于人工智能的片烟杂物检测系统
WO2019114380A1 (zh) 木板识别及木板识别的机器学习方法、装置及电子设备
CN105825568A (zh) 便携式智能交互设备
CN107860338A (zh) 工业自动化三维检测系统及方法
CN108981811A (zh) 一种列车受电弓在线检测系统
CN110108714A (zh) 一种汽车零部件外观检测系统及装置
CN110261069B (zh) 一种用于光学镜头的检测方法
AU2016323850B2 (en) Check grader-actuatable interface for board lumber scanning
CN109299689A (zh) 基于机器视觉的环形生产线模台自动化识别装置及其识别方法
CN105701496B (zh) 一种基于人工智能技术的围棋盘面识别方法
CN107891012A (zh) 基于等效算法的珍珠大小及圆形度分拣装置
CN110097540A (zh) 多边形工件的视觉检测方法及装置
CN109622404B (zh) 一种基于机器视觉的微工件自动分拣系统及方法
KR102366396B1 (ko) Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템
CN107944424A (zh) 分布前端人像采集及多角度人像比对方法
CN108088848A (zh) 一种基于phython机器视觉缺陷的在线检测方法
CN207923747U (zh) 一种纺织布料布面检测系统
CN107413674B (zh) 一种作物种籽在线分拣方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant