CN109241965A - 图像处理的大蒜鳞芽方向识别及作业监控装置和方法 - Google Patents

图像处理的大蒜鳞芽方向识别及作业监控装置和方法 Download PDF

Info

Publication number
CN109241965A
CN109241965A CN201810959068.0A CN201810959068A CN109241965A CN 109241965 A CN109241965 A CN 109241965A CN 201810959068 A CN201810959068 A CN 201810959068A CN 109241965 A CN109241965 A CN 109241965A
Authority
CN
China
Prior art keywords
garlic
image
controller
bulbil
recognition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810959068.0A
Other languages
English (en)
Other versions
CN109241965B (zh
Inventor
沈景新
孙永佳
孙宜田
李青龙
窦青青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Academy of Agricultural Machinery Sciences
Original Assignee
Shandong Academy of Agricultural Machinery Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Academy of Agricultural Machinery Sciences filed Critical Shandong Academy of Agricultural Machinery Sciences
Priority to CN201810959068.0A priority Critical patent/CN109241965B/zh
Publication of CN109241965A publication Critical patent/CN109241965A/zh
Application granted granted Critical
Publication of CN109241965B publication Critical patent/CN109241965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01CPLANTING; SOWING; FERTILISING
    • A01C9/00Potato planters

Abstract

本发明提供了一种图像处理的大蒜鳞芽方向识别及作业监控装置和方法。一种图像处理的大蒜鳞芽方向识别装置,包括:图像采集传感器,于采集大蒜的外形轮廓图像信息的图片;控制器,用于接收和存储的外形轮廓图像信息;数据传输模块,与控制器连接,用于传输控制器的分析结果,将分析结果传输至远程监管平台,为作业监管提供依据;触控显示器;速度传感器,与控制器连接,检测地轮的转动信号;和声光报警模块,与控制器连接。本发明通过图像采集传感器采集大蒜的外形轮廓图像信息的图片,并将图片通过数据传输模块发送至控制器,由控制器对图片进行初步处理,保留大蒜外形特征的信息,提高后处理的处理速度和准确率。

Description

图像处理的大蒜鳞芽方向识别及作业监控装置和方法
技术领域
本发明涉及一种图像处理的大蒜鳞芽方向识别及作业监控装置和方法,属于农业机械技术领域。
背景技术
大蒜是一种具有食用和药用价值的农产品,具有促进消化吸收、调整肠道菌群平衡、消肿止痛等机能,具有营养、医疗和保健等价值。我国是世界上最大的大蒜生产国,种植面积和产量不断增加,但大蒜外形不规则,且缺少有效的大蒜鳞芽方向识别手段和装置,导致机械播种不能有效满足大蒜鳞芽直立栽种的农艺要求,限制了大蒜播种机械作业质量的提高,导致大蒜播种导致长期只能依靠人工进行播种并保持鳞芽向上,存在劳动强度大、作业效率低等问题,严重影响大蒜播种作业的机械化发展。同时,现有的大蒜播种机械在作业过程中缺少对大蒜鳞芽方向进行实时监控的监控装置,只能在作业后,通过人工进行作业质量检查,出现问题不能及时发现,严重影响大蒜播种机具的作业质量,限制大蒜机械化播种的推广应用。
发明内容
本发明针对现有大蒜播种存在的问题,提供了一种图像处理的大蒜鳞芽方向识别及作业监控装置和方法。
本发明通过以下技术方案实现:
一种图像处理的大蒜鳞芽方向识别装置,包括:图像采集传感器,设置在大蒜播种机的导种管上,用于采集大蒜的外形轮廓图像信息的图片;控制器,用于接收和存储的外形轮廓图像信息,并对大蒜图像进行处理,提取大蒜图像外形,获取大蒜头部和根部的外形尺寸,并对大蒜头部和根部进行比对,判断大蒜的鳞芽方向;数据传输模块,与控制器连接,用于传输控制器的分析结果,将分析结果传输至远程监管平台,为作业监管提供依据;触控显示器,与控制器连接,用于显示作业参数,并向用户提供作业数据存储、查询和输出功能;速度传感器,与控制器连接,设置在大蒜播种机的地轮上,检测地轮的转动信号;和声光报警模块,与控制器连接,在判定大蒜鳞芽方向连续异常、缺种、堵塞时进行声光报警。
所述图像处理的大蒜鳞芽方向识别装置优选方案,控制器采用TI公司的TMS320C6416 DSP作为的核心控制芯片,
所述图像处理的大蒜鳞芽方向识别装置优选方案,触控显示器为具有触控功能的液晶显示屏,通过RS232串口与控制器进行通讯。
所述图像处理的大蒜鳞芽方向识别装置优选方案,图像采集传感器采用CCD图像摄像头进行图像采集。
所述图像处理的大蒜鳞芽方向识别装置优选方案,其还包括镶嵌于导种管中部的玻璃视窗,玻璃视窗为无色透明玻璃,与导种管内部内表面的贴合面为圆弧形面,且与导种管内表面平齐安装,图像采集传感器端部与玻璃视窗贴合安装。
所述图像处理的大蒜鳞芽方向识别装置优选方案,导种管内径D与大蒜的平均宽度D具有一定关系:0.7D≤D≤1.3D
一种利用图像处理的大蒜鳞芽方向识别装置进行监控的方法,包括以下步骤:
在触控显示器的输入界面设定种距、监测行数作业信息;
图像采集传感器获取大蒜落种过程的图像信息,速度传感器采集作业速度信号;
控制器对设定的种距和采集的作业速度信号进行运算处理,得出正常播种作业时连续两次图像信息采集的时间间隔为t,并实时统计连续两次图像信息采集的时间间隔Δt,当Δt≥1.5t时,确定为漏播,当连续发生漏播现象时,由控制器控制发出报警信号,声光报警模块进行报警;
控制器对图像信息进行分析处理,根据图像的外形判断是否存在重播,当重播现象重复出现时进行声光报警;
控制器对图像信息进行分析处理,获取大蒜蒜种的外形轮廓信息,根据轮廓信息与预知的大蒜图像进行图形比对,区分所取得的图像为典型大蒜图像还是异型大蒜图像,并对二者进行分别的鳞芽判断;
当通过图像比对,确定获取图像为异型大蒜的图像时,鳞芽判断方法为:获取大蒜两末端向内2mm处横截面的横宽尺寸s1、s2,对横宽尺寸s1、s2进行比较,若s1≥s2,则判断近s2端为鳞芽端;若s1≤s2,则判断近s1端为鳞芽端;
当通过图像比对确定获取图像为典型大蒜的图像时,鳞芽判断方法为:获取大蒜横径S,以此位置为基准分别测量到两端的距离L1、L2,通过控制器进行判断L1与L2的关系,当L1≤L2,则L2的测量端即为鳞芽所在的位置;
根据上述判断,当鳞芽端在上方时,认定为大蒜蒜种鳞芽向上的正常播种,记录并实时输送显示至触控显示器;当鳞芽端在下方时,认定为大蒜蒜种鳞芽向下的非正常播种,记录并实时输送显示至触控显示器。
本发明的有益效果如下:
1、本发明结构简单,功能可靠,可应用于大蒜播种机,实现对播种质量的实时监控,提高大蒜播种的智能化水平。
2、本发明通过约束合适导种管管径,限制大蒜在导种管中以竖直方向下落,为大蒜后期图像处理提供方便。
3、本发明在导种管中部开有窗口,窗口安装有透明玻璃,有利于图像采集传感器采集图像,并防止大蒜下落过程对图像采集传感器造成划伤。
4、本发明提供了对不同形态大蒜鳞芽方向的判断方法,为大蒜鳞芽方向的判断提供新思路。
5、将提取的大蒜轮廓放置于坐标栅格图像上层,读取坐标栅格被遮挡面积及被遮挡图像的长度和宽度。此种长度和宽度的提取方法简单快捷,省去复杂运算。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明的结构示意图;
图2为本发明图像采集传感器的安装示意图;
图3为异型大蒜鳞芽方向识别示意图;
图4为典型大蒜鳞芽方向识别示意图。
图中,1控制器;2触控显示器;3图像采集传感器;4数据传输模块;5速度传感器;6声光报警模块;7玻璃视窗;8导种管;9大蒜。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
一种图像处理的大蒜鳞芽方向识别装置,包括:图像采集传感器3,设置在大蒜播种机的导种管8上,用于采集大蒜9的外形轮廓图像信息的图片;控制器1,用于接收和存储的外形轮廓图像信息,并对大蒜9图像进行处理,提取大蒜9图像外形,获取大蒜9头部和根部的外形尺寸,并对大蒜9头部和根部进行比对,判断大蒜9的鳞芽方向;数据传输模块4,与控制器1连接,用于传输控制器1的分析结果,将分析结果传输至远程监管平台,为作业监管提供依据;触控显示器2,与控制器1连接,用于显示作业参数,并向用户提供作业数据存储、查询和输出功能;速度传感器5,与控制器1连接,设置在大蒜播种机的地轮上,检测地轮的转动信号;和声光报警模块6,与控制器1连接,在判定大蒜鳞芽方向连续异常、缺种、堵塞时进行声光报警。
本实施例中,控制器1采用TI公司的TMS320C6416DSP作为的核心控制芯片,该芯片具有高速控制器的运行灵活性和阵列处理器的数值能力,能够实现图片的在线实时处理。触控显示器2为具有触控功能的液晶显示屏,通过RS232串口与控制器1进行通讯。图像采集传感器3采用CCD图像摄像头进行图像采集。
本实施例中,还包括镶嵌于导种管8中部的玻璃视窗,玻璃视窗7为无色透明玻璃,与导种管8内部内表面的贴合面为圆弧形面,且与导种管8内表面平齐安装,图像采集传感器3端部与玻璃视窗7贴合安装。
本实施例中,导种管8内径D与大蒜的平均宽度D具有一定关系:0.7D≤D≤1.3D,可以使大蒜在导种管8处于竖直状态下落,避免大蒜横向下落的情况发生,降低后期图像采集及处理的难度。
一种利用图像处理的大蒜鳞芽方向识别装置进行监控的方法,包括以下步骤:
在触控显示器2的输入界面设定种距、监测行数作业信息;
图像采集传感器3获取大蒜落种过程的图像信息,速度传感器5采集作业速度信号;
控制器1对设定的种距和采集的作业速度信号进行运算处理,得出正常播种作业时连续两次图像信息采集的时间间隔为t,并实时统计连续两次图像信息采集的时间间隔Δt,当Δt≥1.5t时,确定为漏播,当连续发生漏播现象时,由控制器1控制发出报警信号,声光报警模块6进行报警;
控制器1对图像信息进行分析处理,根据图像的外形判断是否存在重播,当重播现象重复出现时进行声光报警;
控制器1对图像信息进行分析处理,获取大蒜蒜种的外形轮廓信息,根据轮廓信息与预知的大蒜图像进行图形比对,区分所取得的图像为典型大蒜图像还是异型大蒜图像,并对二者进行分别的鳞芽判断;
当通过图像比对,确定获取图像为异型大蒜的图像时,鳞芽判断方法为:获取大蒜两末端向内2mm处横截面的横宽尺寸s1、s2,对横宽尺寸s1、s2进行比较,若s1≥s2,则判断近s2端为鳞芽端;若s1≤s2,则判断近s1端为鳞芽端;
当通过图像比对确定获取图像为典型大蒜的图像时,鳞芽判断方法为:获取大蒜横径S,以此位置为基准分别测量到两端的距离L1、L2,通过控制器1进行判断L1与L2的关系,当L1≤L2,则L2的测量端即为鳞芽所在的位置;
根据上述判断,当鳞芽端在上方时,认定为大蒜蒜种鳞芽向上的正常播种,记录并实时输送显示至触控显示器2;当鳞芽端在下方时,认定为大蒜蒜种鳞芽向下的非正常播种,记录并实时输送显示至触控显示器2。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种图像处理的大蒜鳞芽方向识别装置,其特征在于,包括:
图像采集传感器,设置在大蒜播种机的导种管上,用于采集大蒜的外形轮廓图像信息的图片;
控制器,用于接收和存储的外形轮廓图像信息,并对大蒜图像进行处理,提取大蒜图像外形,获取大蒜头部和根部的外形尺寸,并对大蒜头部和根部进行比对,判断大蒜的鳞芽方向;
数据传输模块,与控制器连接,用于传输控制器的分析结果,将分析结果传输至远程监管平台,为作业监管提供依据;
触控显示器,与控制器连接,用于显示作业参数,并向用户提供作业数据存储、查询和输出功能;
速度传感器,与控制器连接,设置在大蒜播种机的地轮上,检测地轮的转动信号;和
声光报警模块,与控制器连接,在判定大蒜鳞芽方向连续异常、缺种、堵塞时进行声光报警。
2.根据权利要求1所述图像处理的大蒜鳞芽方向识别装置,其特征在于:控制器1采用TI公司的TMS320C6416 DSP作为的核心控制芯片。
3.根据权利要求1所述图像处理的大蒜鳞芽方向识别装置,其特征在于:触控显示器为具有触控功能的液晶显示屏,通过RS232串口与控制器进行通讯。
4.根据权利要求1所述图像处理的大蒜鳞芽方向识别装置,其特征在于:图像采集传感器采用CCD图像摄像头进行图像采集。
5.根据权利要求1所述图像处理的大蒜鳞芽方向识别装置,其特征在于:其还包括镶嵌于导种管中部的玻璃视窗,玻璃视窗为无色透明玻璃,与导种管内部内表面的贴合面为圆弧形面,且与导种管内表面平齐安装,图像采集传感器端部与玻璃视窗贴合安装。
6.根据权利要求1所述图像处理的大蒜鳞芽方向识别装置,其特征在于:导种管内径D与大蒜的平均宽度D具有一定关系:0.7D≤D≤1.3D
7.一种利用图像处理的大蒜鳞芽方向识别装置进行监控的方法,其特征在于,包括以下步骤:
在触控显示器的输入界面设定种距、监测行数作业信息;
图像采集传感器获取大蒜落种过程的图像信息,速度传感器采集作业速度信号;
控制器对设定的种距和采集的作业速度信号进行运算处理,得出正常播种作业时连续两次图像信息采集的时间间隔为t,并实时统计连续两次图像信息采集的时间间隔Δt,当Δt≥1.5t时,确定为漏播,当连续发生漏播现象时,由控制器控制发出报警信号,声光报警模块进行报警;
控制器对图像信息进行分析处理,根据图像的外形判断是否存在重播,当重播现象重复出现时进行声光报警;
控制器对图像信息进行分析处理,获取大蒜蒜种的外形轮廓信息,根据轮廓信息与预知的大蒜图像进行图形比对,区分所取得的图像为典型大蒜图像还是异型大蒜图像,并对二者进行分别的鳞芽判断;
当通过图像比对,确定获取图像为异型大蒜的图像时,鳞芽判断方法为:获取大蒜两末端向内2mm处横截面的横宽尺寸s1、s2,对横宽尺寸s1、s2进行比较,若s1≥s2,则判断近s2端为鳞芽端;若s1≤s2,则判断近s1端为鳞芽端;
当通过图像比对确定获取图像为典型大蒜的图像时,鳞芽判断方法为:获取大蒜横径S,以此位置为基准分别测量到两端的距离L1、L2,通过控制器进行判断L1与L2的关系,当L1≤L2,则L2的测量端即为鳞芽所在的位置;
根据上述判断,当鳞芽端在上方时,认定为大蒜蒜种鳞芽向上的正常播种,记录并实时输送显示至触控显示器;当鳞芽端在下方时,认定为大蒜蒜种鳞芽向下的非正常播种,记录并实时输送显示至触控显示器。
CN201810959068.0A 2018-08-22 2018-08-22 图像处理的大蒜鳞芽方向识别及作业监控装置和方法 Active CN109241965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810959068.0A CN109241965B (zh) 2018-08-22 2018-08-22 图像处理的大蒜鳞芽方向识别及作业监控装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810959068.0A CN109241965B (zh) 2018-08-22 2018-08-22 图像处理的大蒜鳞芽方向识别及作业监控装置和方法

Publications (2)

Publication Number Publication Date
CN109241965A true CN109241965A (zh) 2019-01-18
CN109241965B CN109241965B (zh) 2023-10-24

Family

ID=65068375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810959068.0A Active CN109241965B (zh) 2018-08-22 2018-08-22 图像处理的大蒜鳞芽方向识别及作业监控装置和方法

Country Status (1)

Country Link
CN (1) CN109241965B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233156A1 (zh) * 2019-05-22 2020-11-26 青岛理工大学 一种大姜精量定向种植中鳞芽识别及调整方法
CN113052177A (zh) * 2019-12-26 2021-06-29 合肥美亚光电技术股份有限公司 大蒜的疤识别方法、装置及分选设备
CN113508667A (zh) * 2021-04-09 2021-10-19 青岛理工大学 基于牙尖识别与扶正储存的大蒜种植装置
CN113607168A (zh) * 2021-06-15 2021-11-05 成都农业科技职业学院 扦插机器视觉定位装置及方法
CN114018992A (zh) * 2021-10-29 2022-02-08 山东农业大学 一种电容式蒜种鳞芽检测方法及扶正装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101828449A (zh) * 2010-05-17 2010-09-15 高迟 大蒜蒜瓣鳞芽方向识别播种装置
CN102714960A (zh) * 2012-07-03 2012-10-10 河南省农业高新科技园有限公司 大蒜种粒鳞芽和根部识别装置
CN103004338A (zh) * 2012-12-13 2013-04-03 中国农业大学 一种气力集排式精量排种器
CN103605307A (zh) * 2013-11-18 2014-02-26 北京农业智能装备技术研究中心 一种对玉米精量播种作业进行监控的装置和方法
CN104350846A (zh) * 2014-10-28 2015-02-18 梁开星 一种大蒜蒜瓣的自动识别和调向方法及其装置
CN106489327A (zh) * 2016-11-30 2017-03-15 山东省农业机械科学研究院 一种玉米免耕深松施肥播种机监控系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101828449A (zh) * 2010-05-17 2010-09-15 高迟 大蒜蒜瓣鳞芽方向识别播种装置
CN102714960A (zh) * 2012-07-03 2012-10-10 河南省农业高新科技园有限公司 大蒜种粒鳞芽和根部识别装置
CN103004338A (zh) * 2012-12-13 2013-04-03 中国农业大学 一种气力集排式精量排种器
CN103605307A (zh) * 2013-11-18 2014-02-26 北京农业智能装备技术研究中心 一种对玉米精量播种作业进行监控的装置和方法
CN104350846A (zh) * 2014-10-28 2015-02-18 梁开星 一种大蒜蒜瓣的自动识别和调向方法及其装置
CN106489327A (zh) * 2016-11-30 2017-03-15 山东省农业机械科学研究院 一种玉米免耕深松施肥播种机监控系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
席东河等: "大蒜种植机械蒜瓣方向识别算法与控制系统设计" *
杨清明等: "基于图像处理的大蒜蒜瓣朝向识别" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233156A1 (zh) * 2019-05-22 2020-11-26 青岛理工大学 一种大姜精量定向种植中鳞芽识别及调整方法
CN113052177A (zh) * 2019-12-26 2021-06-29 合肥美亚光电技术股份有限公司 大蒜的疤识别方法、装置及分选设备
CN113052177B (zh) * 2019-12-26 2022-08-23 合肥美亚光电技术股份有限公司 大蒜的疤识别方法、装置及分选设备
CN113508667A (zh) * 2021-04-09 2021-10-19 青岛理工大学 基于牙尖识别与扶正储存的大蒜种植装置
CN113607168A (zh) * 2021-06-15 2021-11-05 成都农业科技职业学院 扦插机器视觉定位装置及方法
CN113607168B (zh) * 2021-06-15 2023-06-20 成都农业科技职业学院 扦插机器视觉定位装置及方法
CN114018992A (zh) * 2021-10-29 2022-02-08 山东农业大学 一种电容式蒜种鳞芽检测方法及扶正装置

Also Published As

Publication number Publication date
CN109241965B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN109241965A (zh) 图像处理的大蒜鳞芽方向识别及作业监控装置和方法
CN101907453B (zh) 基于机器视觉的块状农产品尺寸在线测量方法与装置
CN106682570A (zh) 一种植物的长势监控方法和装置
CN104115589B (zh) 甘蔗种芽完好性检测系统及方法
CN103512494B (zh) 一种植物果实微尺寸变化视觉检测系统及方法
CN109496797A (zh) 一种农业节水灌溉系统及控制方法
CN104613869B (zh) 一种基于最大内切圆的椭圆孔组检测方法和系统
CN105549486A (zh) 基于机器视觉的烟草打顶抑芽检测控制系统
CN110286092A (zh) 一种作物生长趋势分析系统
CN106595496A (zh) 一种人机交互零件尺寸柔性视觉测量方法
CN111862246A (zh) 对虾苗种智能计数方法及装置
CN208834328U (zh) 图像处理的大蒜鳞芽方向识别及作业监控装置
CN108513768B (zh) 一种自动除草及播种装置
CN203163699U (zh) 一种汽车鼓式制动器摩擦片检测系统
CN101458204A (zh) 谷物实粒数的自动测量装置及方法
CN104457911B (zh) 一种液位检测系统及液位检测方法
CN212871291U (zh) 气力滚筒式穴盘播种机作业精度在线检测装置
CN106178186A (zh) 一种医用泵阻塞压力智能报警系统和方法
CN102371012B (zh) 一种探测输液器滴壶内液滴的方法
CN205193858U (zh) 一种基于红外测温传感器的人流量统计装置
CN209101365U (zh) 一种具无人识别功能的烟灶一体机
CN112082789A (zh) 气力滚筒式穴盘播种机作业精度在线检测方法与装置
CN110741790A (zh) 一种基于深度相机的穴盘苗多爪移栽-分选的处理方法
CN203078780U (zh) 一种烟支滤嘴凹陷图案完整性检测装置
CN113099792B (zh) 大蒜鳞芽识别调整装置及调整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant