CN106908062B - 一种自走式叶绿素荧光图像采集机器人及其采集方法 - Google Patents

一种自走式叶绿素荧光图像采集机器人及其采集方法 Download PDF

Info

Publication number
CN106908062B
CN106908062B CN201710266175.0A CN201710266175A CN106908062B CN 106908062 B CN106908062 B CN 106908062B CN 201710266175 A CN201710266175 A CN 201710266175A CN 106908062 B CN106908062 B CN 106908062B
Authority
CN
China
Prior art keywords
chlorophyll fluorescence
car body
fluorescence image
acquisition
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710266175.0A
Other languages
English (en)
Other versions
CN106908062A (zh
Inventor
岑海燕
华诗佳
翁海勇
何勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710266175.0A priority Critical patent/CN106908062B/zh
Publication of CN106908062A publication Critical patent/CN106908062A/zh
Application granted granted Critical
Publication of CN106908062B publication Critical patent/CN106908062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6402Atomic fluorescence; Laser induced fluorescence
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector

Abstract

本发明涉及一种自走式叶绿素荧光图像采集机器人及其采集方法,属于植物病害自动检测技术领域。其中,采集机器人包括驱动系统及搭载在该驱动系统上的便携式叶绿素荧光成像系统、电源系统、导航系统与控制系统;驱动系统包括车体、安装在车体上受控制系统控制的动力装置及安装在车体两侧受动力装置驱动的车轮;便携式叶绿素荧光成像系统通过支架悬挂于车体的一侧;电源系统与动力装置、控制系统、便携式叶绿素荧光成像系统及导航系统电连接;控制系统与导航系统及便携式叶绿素荧光成像系统通讯连接。采用该机器人可对种植区域内被测植株的叶绿素荧光图像进行批次采集,在降低人工工作强度、提高工作效率的同时,能对植物病害进行及时检测预警。

Description

一种自走式叶绿素荧光图像采集机器人及其采集方法
技术领域
本发明涉及植物病害自动检测技术领域,具体地说,涉及一种自走式叶绿素荧光图像采集机器人及其采集方法。
背景技术
在传统农业中,通常是通过人工方式对农作物的病虫害等情况进行检测,不仅劳动强度大、效率低,且无法及时有效地对农作物病虫害等情况进行监测并提供预警。
荧光成像光谱分析技术具有灵敏度高、线性范围宽及不影响植株的生长等优点,对植物病害进行检测,在植物病害检测方面得到了比较广泛的应用,其中,利用叶绿素荧光可对植物的生长情况及各类营养元素缺乏症状进行鉴别。
公开号为CN104034710A的专利文献中公开了一种基于叶绿素荧光及成像技术的植物病害检测方法及装置,检测方法包括(1)利用蓝光激发活体植物叶片的叶绿素荧光,通过相机和滤光片采集得到叶绿素荧光图像;(2)对叶绿素荧光图像进行图像预处理,得到活体植物叶片部位的灰度图;(3)将灰度图进行图像分割得到子图像,并提取子图像的纹理特征和叶脉特征参数,将两个特征参数输入分类器进行判断;(4)根据活体植物叶片的纹理特征和叶脉特征参数,判别出健康和病害两类植物。检测装置包括光照箱、光源、计算机、彩色高速相机、放置活体植物叶片的采集平台;在光照箱内的底面向上,依次同轴装有采集平台,光源和彩色高速相机,彩色高速相机上的可调镜头朝下,可调镜头上装有滤光片,彩色高速相机通过Camera Link线与计算机相连。虽然其装置为便携式荧光仪,但是其工作效率仍偏低,难以及时进行植物病害检测并预警。
发明内容
本发明的目的是提供一种自走式叶绿素荧光图像采集机器人,以替代人工对被测植株的叶绿素荧光图像进行批量采集,降低人工工作强度、提高工作效率的同时,能对植物病害进行及时检测、预警;
本发明的另一目的是提供一种使用上述自走式叶绿素荧光图像采集机器人进行叶绿素荧光图像采集的方法。
为了实现上述目的,本发明提供的自走式叶绿素荧光图像采集机器人包括驱动系统及搭载在该驱动系统上的便携式叶绿素荧光成像系统、电源系统、导航系统与控制系统;驱动系统包括车体、安装在该车体上受控制系统控制的动力装置及安装在车体两侧受动力装置驱动的车轮;便携式叶绿素荧光成像系统通过支架悬挂于车体的一侧;电源系统与动力装置、控制系统、便携式叶绿素荧光成像系统及导航系统电连接;控制系统与导航系统及便携式叶绿素荧光成像系统通讯连接。
利用该机器人,可以根据事先规划好的采集路径,控制系统依据采集路径规划及导航系统反馈的信息,控制驱动系统行驶至不同位置处对不同被测植株依次进行叶绿素荧光图像采集,从而可对种植区域内的被测植株进行成批次、自动地采集,以减少人工工作强度、提高工作效率,并且可不间歇地采集,以能及时地对植物病害进行检测、预警。
具体的方案为位于车体两侧的车轮受动力装置驱动地独立转动。便于在采集过程中沿采集路径规划进行前进、后退、左转弯及右转弯。
另一个具体的方案为导航系统包括安装在车体上的陀螺仪定位器及用于测量车体一侧与其侧旁物体间间距的测距传感器。
另一个具体的方案为支架为可调支架。可根据种植区域与被测植株的实际情况调节便携式叶绿素荧光成像系统的相对位置,提高该人的适应范围。
再一个具体的方案为车体另一侧固设有平衡便携式叶绿素荧光成像系统的重量的配重块。提高采集过程中的稳定性。
优选的方案为控制系统包括处理器及与处理器通讯连接的存储器,存储器存储有机器人在种植区域内采集叶绿素荧光图像过程的采集路径规划,采集路径规划包括机器人的行走路径、停顿位置及采集单株荧光图像的时间,处理器用于:获取采集路径规划;控制驱动系统按行走路径与停顿位置行驶,并接收导航系统反馈的位置信息及车体与被测植株间的间距;依据预设间距范围,控制驱动系统调整车体与被测植株间的间距;在停顿位置处,按采集单株荧光图像的时间,控制便携式叶绿素荧光成像系统采集被测植株的叶绿素荧光图像;存储采集到的叶绿素荧光图像。
为了实现上述另一目的,本发明提供采用上述任一技术方案所描述自走式叶绿素荧光图像采集机器人进行叶绿素荧光图像采集的方法包括采集路径规划步骤、初始化步骤及采集步骤;采集路径规划步骤包括依据种植区中被测植株的分布情况,按照对被测植株进行图像采集的先后顺序设置机器人在种植区内的行走路径、停顿时间及采集单株荧光图像的时间;初始化步骤包括依据被测植株的尺寸,调整便携式叶绿素荧光成像系统的镜头与被测植株间的垂向间距,并设置车体与被测植株间的间距范围;采集步骤包括在夜间环境下,使用自走式叶绿素荧光图像采集机器人按照行走路径、停顿位置及采集单株荧光图像的时间,对被测植株进行叶绿素荧光图像采集,并保存采集到的叶绿素荧光图像。
附图说明
图1是本发明自走式叶绿素荧光图像采集机器人实施例的结构示意图;
图2是使用本发明自走式叶绿素荧光图像采集机器人实施例进行叶绿素荧光图像采集的方法的工作流程图;
图3是使用本发明自走式叶绿素荧光图像采集机器人实施例对被测植株进行叶绿素荧光图像采集的过程示意图。
具体实施方式
以下结合实施例及其附图对本发明作进一步说明。
参见图1,自走式荧光图像采集机器人包括便携式叶绿素荧光成像系统2、驱动系统、电源系统、导航系统及控制系统。电源系统包括与其他系统电连接的可充电电池组,以为它们的正常工作提供电源。
便携式叶绿素荧光成像系统2包括LED光源、摄像机、散热器及滤光片。
驱动系统包括车体10及安装在车体10内的动力装置、安装在车体右侧的配重块与安装在车体10下方的车轮11、12,动力装置受控制系统控制地驱动车轮11与车轮12独立转动,以实现整个采集机器人的前进、转弯及后退动作。可充电电池组安装在车体10内。
便携式叶绿素荧光成像系统2通过可调支架3安装车体的左侧部上,从而利用配重块13对其进行平衡,以保证车体在行驶过程中的稳定性。
导航系统包括安装车体上的陀螺仪定位器及测距传感器14,测距传感器14可选自激光测距传感器、超声波测距传感器等,测距传感器14位于车体顶部右侧边缘处,用于测量车体1与其右侧物体间间距,比如,与位于其右侧的被测植株间的间距;陀螺仪定位器用于检测器行进方向与距离。
控制系统包括用于控制其他系统正常工作的处理器及用于存储便携式叶绿素荧光成像系统2拍摄数据与机器人在种植区域内采集叶绿素荧光图像过程的采集路径规划的存储器,其中,采集路径规划包括机器人的行走路径、停顿位置及采集单株荧光图像的时间。
处理器用于从存储器中获取采集路径规划;用于控制驱动系统按行走路径与停顿位置行驶,并接收陀螺仪定位器反馈的位置信息及测距传感器14测得车体与被测植株间的间距;用于依据预设间距范围,控制驱动系统调整车体与被测植株间的间距;用于在停顿位置处,按采集单株荧光图像的时间,控制便携式叶绿素荧光成像系统采集被测植株的叶绿素荧光图像;用于将采集到的叶绿素荧光图像存储至存储器中。
参见图2,使用该自走式叶绿素荧光图像采集机器人对被测植株进行叶绿素荧光图像采集的方法包括采集路径规划步骤S1,初始化步骤S2及采集步骤S3,在本实施例中,对如图3所示种植区域内的植物进行叶绿素荧光图像采集,该种植区域共有四列被测植株01、02、03及04,每列植物包括12棵相距预定株行距的被测植株,相邻两列被测植株间具有通道,分别位通道05、06及04。
采集路径规划步骤S1,根据该种植区域情况,即对种植区域内被测植株进行叶绿素荧光图像采集的先后顺序,规划并设置自走式叶绿素荧光图像采集机器人的行走路径、停顿时间及采集单株荧光图像的时间;在本实施例中,由于被测植株采用常见的列植方式种植,将机器人的行走路径规划为沿第一列植物左侧通道向上直行、90度右转、90度左转、沿通道05向下后退、90度右转、90度左转、沿通道06向上直行、90度右转、90度左转、沿通道07向下后退,并根据事先测量得到种植区域的长宽数据以及列间距、株行距的数据,设计具体行走路径中对单株被测植株进行采集的停顿位置及单株叶绿素荧光图像采集的时间,停顿位置为每株被测植株的位置侧旁。
初始化步骤S2,根据被测植株的高度以及种植区域情况,调整可调支架3,使便携式叶绿素荧光成像系统2的摄像机镜头位于被测植株上方预设高度范围内,在本实施例中,为5厘米左右。
采集步骤S3,基于导航系统中陀螺仪定位仪获取的定位数据及测距传感器获取车体与被测植株间的间距,处理器根据规划好的行走路径,控制驱动系统驱动整个自走式荧光图像采集机器人按照预定行走路径行走,并按照预设的停顿位置与停顿时间,停顿时间包括单株叶绿素荧光图像采集时间与调整启动时间,对被测植株进行叶绿素荧光图像的采集,并保存至存储器中以便日后提取及后续处理。该采集实验为在晚上进行,以满足在叶绿素荧光图像采集前需要对植株进行暗适应处理的要求;并在实际的行走过程中,通过测距传感器14测得的车体10与位于其右侧的被测植株011、012、013等之间的相对距离D1,并将测得数据与预设基准值进行比较,并根据比较结果对车体10与被测植株间间距进行微调,如果距离大于基准值,则通过调整两侧车轮速度差,以将车体行进方向往右侧微调,如果距离小于标准值,则将行进方向往左侧微调,从而保证便携式叶绿素荧光成像系统2能够准确地位于待测植株上方。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的具体实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种自走式叶绿素荧光图像采集机器人,其特征在于,包括驱动系统及搭载在所述驱动系统上的便携式叶绿素荧光成像系统、电源系统、导航系统与控制系统;
所述驱动系统包括车体、安装在所述车体上受所述控制系统控制的动力装置及安装在所述车体两侧受所述动力装置驱动的车轮;
所述便携式叶绿素荧光成像系统通过支架悬挂于所述车体的一侧;
所述电源系统与所述动力装置、所述控制系统、所述便携式叶绿素荧光成像系统及所述导航系统电连接;
所述控制系统与所述导航系统及所述便携式叶绿素荧光成像系统通讯连接;
所述控制系统包括处理器及与所述处理器通讯连接的存储器,所述存储器存储有机器人在种植区域内采集叶绿素荧光图像过程的采集路径规划,所述采集路径规划包括机器人的行走路径、停顿位置及采集单株荧光图像的时间,所述处理器用于:
获取所述采集路径规划;
控制所述驱动系统按所述行走路径与所述停顿位置行驶,并接收所述导航系统反馈的位置信息及所述车体与被测植株间的间距;
依据预设间距范围,控制所述驱动系统调整所述车体与被测植株间的间距;
在所述停顿位置处,按所述采集单株荧光图像的时间,控制所述便携式叶绿素荧光成像系统采集被测植株的叶绿素荧光图像;
存储采集到的叶绿素荧光图像。
2.根据权利要求1所述的自走式叶绿素荧光图像采集机器人,其特征在于:
位于所述车体两侧的车轮受所述动力装置驱动地独立转动。
3.根据权利要求1所述的自走式叶绿素荧光图像采集机器人,其特征在于:
所述导航系统包括安装在所述车体上的陀螺仪定位器及用于测量所述车体的一侧与其侧旁物体间间距的测距传感器。
4.根据权利要求1所述的自走式叶绿素荧光图像采集机器人,其特征在于:
所述支架为可调支架。
5.根据权利要求1所述的自走式叶绿素荧光图像采集机器人,其特征在于:
所述车体的另一侧固设有平衡所述便携式叶绿素荧光成像系统的重量的配重块。
6.一种采用权利要求1至5任一项权利要求所述的自走式叶绿素荧光图像采集机器人进行叶绿素荧光图像采集的方法,包括以下步骤:
采集路径规划步骤,依据种植区中被测植株的分布情况,按照对被测植株进行图像采集的先后顺序设置机器人在种植区内的行走路径、停顿位置及采集单株荧光图像的时间;
初始化步骤,依据被测植株的尺寸,调整所述便携式叶绿素荧光成像系统的镜头与被测植株间的垂向间距,并设置所述车体与被测植株间的间距范围;
采集步骤,在夜间环境下,使用所述自走式叶绿素荧光图像采集机器人按照所述行走路径、所述停顿位置及所述采集单株荧光图像的时间,对被测植株进行叶绿素荧光图像采集,并保存采集到的叶绿素荧光图像。
CN201710266175.0A 2017-04-21 2017-04-21 一种自走式叶绿素荧光图像采集机器人及其采集方法 Active CN106908062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710266175.0A CN106908062B (zh) 2017-04-21 2017-04-21 一种自走式叶绿素荧光图像采集机器人及其采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710266175.0A CN106908062B (zh) 2017-04-21 2017-04-21 一种自走式叶绿素荧光图像采集机器人及其采集方法

Publications (2)

Publication Number Publication Date
CN106908062A CN106908062A (zh) 2017-06-30
CN106908062B true CN106908062B (zh) 2019-08-13

Family

ID=59211079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710266175.0A Active CN106908062B (zh) 2017-04-21 2017-04-21 一种自走式叶绿素荧光图像采集机器人及其采集方法

Country Status (1)

Country Link
CN (1) CN106908062B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110260789B (zh) * 2019-07-12 2020-09-29 南京农业大学 一种田间高通量作物表型监测系统及方法
CN111323080A (zh) * 2020-03-13 2020-06-23 云南建能科技有限公司 一种移动式农作物监测装置和监测方法
CN112115988B (zh) * 2020-09-03 2024-02-02 中国农业大学 一种麦穗计数方法、装置及自行走小车
CN112067594A (zh) * 2020-09-30 2020-12-11 南京农业大学 一种作物表型叶绿素荧光的移动式检测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103267751A (zh) * 2013-05-09 2013-08-28 浙江大学 一种植物叶绿素荧光检测装置
CN103891697A (zh) * 2014-03-28 2014-07-02 南通职业大学 一种室内自主移动喷药机器人及其变量喷药方法
CN104656644A (zh) * 2013-11-25 2015-05-27 刘晶 基于多路传感器的农田喷雾机器人导航系统
CN204373695U (zh) * 2015-01-27 2015-06-03 天津农学院 具有自主导航功能的作物参数检测装置
CN104954746A (zh) * 2015-06-16 2015-09-30 江苏大学 一种智能化移动车载式远程作物数字图像采集系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103267751A (zh) * 2013-05-09 2013-08-28 浙江大学 一种植物叶绿素荧光检测装置
CN104656644A (zh) * 2013-11-25 2015-05-27 刘晶 基于多路传感器的农田喷雾机器人导航系统
CN103891697A (zh) * 2014-03-28 2014-07-02 南通职业大学 一种室内自主移动喷药机器人及其变量喷药方法
CN204373695U (zh) * 2015-01-27 2015-06-03 天津农学院 具有自主导航功能的作物参数检测装置
CN104954746A (zh) * 2015-06-16 2015-09-30 江苏大学 一种智能化移动车载式远程作物数字图像采集系统及其方法

Also Published As

Publication number Publication date
CN106908062A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN106908062B (zh) 一种自走式叶绿素荧光图像采集机器人及其采集方法
KR101547560B1 (ko) 이동형 지능로봇을 이용한 영상기반 식물 생장관리 제어시스템
US20230189787A1 (en) Method for autonomously weeding crops in an agricultural field
CN103999635B (zh) 基于机器视觉的智能化自动切割式采茶机及工作方法
JP5020444B2 (ja) 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
US20220053122A1 (en) System and method for monitoring plants in plant growing areas
KR101271074B1 (ko) 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템
US10602665B2 (en) Two armed robotic system for adjusting the height of an agricultural tool
CN108858122A (zh) 一种温室植物病害巡检机器人及巡检方法
US20230165181A1 (en) Systems and methods for monitoring plants in plant growing areas
CN113396650B (zh) 一种智能蔬菜株间除草装置及控制方法
US20230079259A1 (en) Tall plant health management system
CN107290309A (zh) 基于荧光成像的田间水稻霉病自动化检测装置及检测方法
US20220101557A1 (en) Calibration of autonomous farming vehicle image acquisition system
Nielsen et al. Orchard and tree mapping and description using stereo vision and lidar
JP4978799B2 (ja) 移動車両の直進誘導システム
US11343967B1 (en) Robotic automation of mechanical field harvesting of broccoli plants
CN207083432U (zh) 一种响应插秧环境的智能插秧机
CN216982681U (zh) 一种条状基质槽乔木扦插机器人
CN116795157A (zh) 基于物联网的温室大棚环境监测与调整方法和系统
Tangwongkit et al. Development of a real-time, variable rate herbicide applicator using machine vision for between-row weeding of sugarcane fields
CN113924871A (zh) 一种条状基质槽乔木扦插机器人
CN115451965B (zh) 基于双目视觉的插秧机插植系统相对航向信息检测方法
CN218929641U (zh) 病虫害探测车载系统
US20220058770A1 (en) Plant identification using dynamic cropping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant