CN103918636A - 基于图像处理的智能喷药方法及喷药机器人 - Google Patents

基于图像处理的智能喷药方法及喷药机器人 Download PDF

Info

Publication number
CN103918636A
CN103918636A CN201410174241.8A CN201410174241A CN103918636A CN 103918636 A CN103918636 A CN 103918636A CN 201410174241 A CN201410174241 A CN 201410174241A CN 103918636 A CN103918636 A CN 103918636A
Authority
CN
China
Prior art keywords
spray medicine
insecticide
weed killer
killer herbicide
medicine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410174241.8A
Other languages
English (en)
Other versions
CN103918636B (zh
Inventor
杨然兵
郭亭亭
李娟�
李哲
闫法兵
柴恒辉
李新勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Agricultural University
Original Assignee
Qingdao Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Agricultural University filed Critical Qingdao Agricultural University
Priority to CN201410174241.8A priority Critical patent/CN103918636B/zh
Publication of CN103918636A publication Critical patent/CN103918636A/zh
Application granted granted Critical
Publication of CN103918636B publication Critical patent/CN103918636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Catching Or Destruction (AREA)

Abstract

本发明提供了一种基于图像处理的智能喷药方法和基于图像处理的喷药机器人;本发明能正确的辨别特定的作物和杂草,并根据需要喷药的作物和杂草分布状况进行定点对靶喷药,即:对杂草进行喷洒除草剂,对作物喷洒相应的除虫剂等药物,从而实现人工无干扰下的智能喷药;同时本发明加入无线视频传输,工作人员能够通过手持监控器对喷药机器人进行监视和控制;因此,本发明所述的智能喷药机器人不仅降低了工作人员的劳动强度和喷药成本,也降低了农药的用量,减少了土壤环境下的农药残留,对于提高我国农业喷药智能化、现代化、加快农业精准化具有不可估量的意义。

Description

基于图像处理的智能喷药方法及喷药机器人
技术领域
本发明属于农业机械领域,具体涉及喷药方法,特别涉及一种基于图像处理的智能喷药方法,还涉及一种基于图像处理的喷药机器人。
背景技术
当前我国常见的喷药反式为由工作人员背负机械式或电动式喷药机对某一区域需要除草的田地或者植物进行大面积喷洒,这种方式存在很多缺点:1、喷药效率低,使得农民投入加大;这是因为需要对区域的所有植物包括杂草进行喷药,造成喷药的面积增大,另外,传统的机械式或电动式喷药机效率低下;2、对操作者身体伤害大;这是由于由于农药中含有大量的化学成分,这些化学成分对人体都有不同程度的毒性;3、对环境的负面影响大;这是由于药液极易通过渗透等途径进入土壤和水源从而间接污染环境,调查研究显示,农药污染往往需要数百年的时间才能恢复。
中国专利201320057120.6提出了一种“单/双子叶杂草识别喷药管理装置”,该系统包括:智能手机或掌上电脑,及集成在其上依次连接的图像采集、图像识别、叶片分类和结果显示及发送模块。该装置可在识别农田单/双子叶杂草及群落组合的基础上,快速给出不同除草剂配比组合的方案,实现除草剂的变量和高效利用,具有便携、实用、普及率高的特点。然而,由于该装置主要针对单/双子叶杂草的识别,只能智能识别特定的杂草而不能针对特定的作物进行喷药,这样大大限制了喷药的功能及范围;同时该系统的图像处理采用的是工控机,成本较高,并且工控机的功耗较大,不利于使用在便携的设备上。
发明内容
针对现有技术存在的问题,本发明提供了一种基于图像处理的智能喷药方法;本发明还提供了基于图像处理的喷药机器人,所述喷药机器人既能对作物进行除虫剂的喷洒,还能对杂草进行识别并喷洒除草剂。
本发明的技术方案是:基于图像处理的智能喷药的方法包括如下步骤:通过视频采集模块实时采集前方区域的图像并送入数字信号处理器分析、处理,数字信号处理器将处理结果送至嵌入式处理器,嵌入式处理器根据移动平台所在区域内植物和杂草的分布情况,控制移动平台移动至待采集区域附近,嵌入式处理器通过喷药机械手舵机驱动器进而驱动喷药机械手将喷药杆送到待喷药区域内的杂草附近。嵌入式处理器控制除草剂喷药电机继电器吸合进而控制除草剂喷药电机转动进行喷洒除草剂,同时喷药杆所连舵机转动从而带动除草剂喷头转动,达到喷洒均匀的目的;喷洒完毕后,嵌入式处理器控制除草剂喷药电机继电器释放进而停止除草剂喷药电机转动;然后,嵌入式处理器通过喷药机械手舵机驱动器进而驱动喷药机械手将喷药杆送到待喷药区域内的作物附近,此时嵌入式处理器控制除虫剂喷药电机继电器吸合进而控制除虫剂喷药电机转动进行喷洒除虫剂,喷洒完毕后,嵌入式处理器控制除虫剂喷药电机继电器释放进而停止除虫剂喷药电机转动。
优选的是,所述喷药方法还包括人工干预步骤:喷药机器人喷洒农药时,无线视频发射模块将路况摄像机采集的视频实时传输给无线视频接收器,无线视频接收器通过AV线与监控显示器连接,工作人员通过监控显示器可以实时观测智能喷药机器人所处区域的工作环境和工作状态;同时,工作人员通过操作按键进而通过ZIGBEE协调器发射信号,ZIGBEE节点接收信号后传输给MSP430控制器,MSP430控制器通过控制两自由度云台驱动器进而控制两自由度云台动作,工作人员可以查看不同角度的喷药机器人周围工作环境和工作状态;根据查看结果控制喷药装置的判断喷药机器人的喷药区域和药量。
基于图像处理的喷药机器人,包括移动平台和设置在移动平台上的视频采集系统、喷药系统和供电系统;所述供电系统与控制系统、喷药系统分别相连接并为其提供电源,所述视频采集系统通过控制系统与喷药系统相连接,所述控制系统与移动平台相连实现喷药机器人的行走;所述移动平台包括平台车架和设置在平台车架上的驱动轮总成;所述移动平台上还设有二维滑台,所述二维滑台包括手轮、滚珠导轨、滚珠丝杠、滑块、挡块和底座;所述手轮通过联轴器和滚珠丝杠连接,所述滚珠丝杠上套有滑块,所述滚珠丝杠的两端和挡块连接,所述挡块固定在底座上;所述视频采集系统包括第一彩色模拟摄像机和第二彩色模拟摄像机,所述第一彩色模拟摄像机和第二彩色模拟摄像机分别通过摄像机支架固定在滑块上;所述喷药系统包括除草剂喷药系统、除虫剂喷药系统和喷药机械手,所述除草剂喷药系统和除虫剂喷药系统均包括喷药电机、药箱和喷头,所述喷药电机通过继电器与供电系统相连接,所述药箱与喷药电机的进药口连通,所述喷头与喷药电机的出药口连通;所述喷药机械手包括喷药杆和圆盘底座,所述喷药杆通过连接部件与圆盘底座相连,所述连接部件包括三个舵机和两个连杆,所述三个舵机之间通过两个连杆相连,所述舵机通过舵机支架与连杆相连,所述圆盘底座固定在移动平台上;所述除草剂喷药系统和除虫剂喷药系统的喷头均设置在喷药机械手的喷药杆上;所述控制系统为第一控制柜,所述第一控制柜包括数字信号处理器、电源稳压模块、喷药机械手舵机驱动器、ZIGBEE节点、嵌入式控制器和移动平台驱动模块;所述电源稳压模块与数字信号处理器、喷药机械手舵机驱动器、ZIGBEE节点、嵌入式控制器和移动平台驱动模块连接并为其提供电源,所述数字信号处理器与所述第一彩色模拟摄像机和第二彩色模拟摄像机连接,所述喷药机械手舵机驱动器与喷药机械手舵机连接并为其提供驱动电源,所述移动平台驱动模块与驱动轮总成相连,ZIGBEE节点的串口与嵌入式控制器的串口连接,数字信号处理器的串口与嵌入式控制器的串口线连接。
优选的是,所述基于图像处理的喷药机器人还包括路况采集系统,所述路况采集系统包括路况摄像机、两自由度云台和无线视频接收器,所述路况摄像机通过两自由度云台固定在移动平台上,所述无线视频接收器通过AV线与路况摄像机相连;所述供电系统与路况摄像机相连并为其提供电源;所述两自由度云台包括两个舵机及舵机支架、U形支架、底座,所述舵机A通过其舵机支架与U形支架连接,所述U形支架通过舵机B及其舵机支架与底座连接;所述路况摄像机固定设置在U形支架上;所述第一控制柜还包括与两自由度云台的舵机相连的驱动器。
优选的是,所述基于图像处理的喷药机器人还包括手持监控器,所述手持监控器包括显示器和第二控制柜,所述第二控制柜包括供电模块、MSP430控制器、无线视频接收器、ZIGBEE协调器、液晶显示模块和按键模块;所述供电模块通过电源线与MSP430控制器、无线视频接收器、ZIGBEE协调器和液晶显示模块分别连接并为其提供电源,所述ZIGBEE协调器通过串口与MSP430控制器的串口连接进行通讯,所述按键模块与MSP430控制器的I/0口连接;所述显示器与无线视频接收器连接,供电模块与显示器连接并为其提供电源。
优选的是,所述除草剂喷药系统包括除草剂喷头、药液管道、除草剂喷药电机、除草剂喷药电机继电器和除草剂药箱,所述除草剂喷头通过药液管道与除草剂喷药电机的进药口连接,除草剂药箱通过药液管道与除草剂喷药电机的出药口连接,所述除草剂喷药电机继电器与除草剂喷药电机连接;所述除虫剂喷药系统包括除虫剂喷头、药液管道、除虫剂喷药电机、除虫剂喷药电机继电器和除虫剂药箱,所述除虫剂喷头通过药液管道与除虫剂喷药电机的进药口连接,除虫剂药箱通过药液管道与除虫剂喷药电机的出药口连接,所述除虫剂喷药电机继电器与除虫剂喷药电机连接。
优选的是,所述喷药杆通过舵机C及其舵机支架与连杆I的一端相连,所述连杆I的另一端通过舵机D及其舵机支架与连杆II的一端相连,所述连杆II的另一端通过舵机E及其舵机支架与圆盘底座固定相连。
优选的是,所述供电系统为锂电池组,所述锂电池组由八块锂电池级联和并联而成;所述锂电池组通过电源线与电源稳压模块连接并为其提供电源。
优选的是,所述无线视频接收器还包括一个接收天线,所述接收天线通过屏蔽电缆和无线视频接收器的接收头连接,用于接收无线视频和音频信号。
优选的是,所述显示器为七寸彩色LCD显示器,所述LCD显示器通过AV线与无线视频接收器连接,锂电池供电模块通过电源线与LCD显示器连接并为其提供电源;所述移动平台的驱动轮总成与平台车架之间采用螺栓连接;所述第一彩色模拟摄像机和第二彩色模拟摄像机通过BNC双绞线与数字信号处理器的视频捕获口连接,第一彩色模拟摄像机和第二彩色模拟摄像机通过螺栓固定设置在摄像机支架上;所述驱动轮总成包括车轮、转轴、减速齿轮箱、直流电机和支架;所述减速齿轮箱与车轮之间由转轴连接,所述直流电机和减速齿轮箱通过螺栓螺母固定在支架上,所述支架通过螺栓螺母固定在平台车架上。
其中,为了便于调节两个模拟彩色摄像机之间的距离以及两模拟彩色摄像机与作物之间的距离,在移动平台上设置了二维滑台,所述二维滑台通过手轮带动滚珠丝杠转动,进而带动滑块以及设置在滑块上的模拟彩色摄像机的移动;为了减少药液等液体对电路系统的影响,所述除草剂喷药电机和除虫剂喷药电机均通过螺栓螺母固定在移动平台的下方;为了便于调节摄像机的拍摄角度,摄像机支架上方设置有螺母调节结构,可以随意调节摄像机的姿态和方位,所述摄像机包括第一彩色模拟摄像机、第二彩色模拟摄像机和路况摄像机;为了提高喷药效率,所述喷药机械手顶端的垂直方向上安装四个喷头,这样不仅有利于作物叶面的喷药,也有利于作物叶子背面的喷药工作。
本发明的有益效果:
(1)本发明能正确的辨别特定的作物和杂草,并根据需要喷药的作物和杂草分布状况进行定点对靶喷药,即:对杂草进行喷洒除草剂,对作物喷洒相应的除虫剂等药物,从而实现人工无干扰下的智能喷药;同时本发明加入无线视频传输,工作人员能够通过手持监控器对喷药机器人进行监视和控制;因此,本发明所述的智能喷药机器人不仅降低了工作人员的劳动强度和喷药成本,也降低了农药的用量,减少了土壤环境下的农药残留,对于提高我国农业喷药智能化、现代化、加快农业精准化具有不可估量的意义;
(2)本发明利用双目摄像机对需要喷药区域的作物和杂草进行图像采集,分析作物和杂草位置,避免了错喷、漏喷的情况;
(3)本发明利用喷药机械手实现自动喷药,无需人工干预,极大地降低了生产成本,同时减少了农药对工作人员的身体伤害;
(4)本发明采用除草剂和除虫剂的双喷头,对作物和杂草分别进行喷药,具有双重功能,减少了农药的使用量,降低了农药在土壤中的残留,有利于环保和节能;
(5)本发明对喷药机器人所在区域的视频进行实时传输,使操作人员易于控制和干预。
附图说明
图1为本发明基于图像处理的喷药机器人的立体结构示意图;
图2为本发明基于图像处理的喷药机器人的主视图;
图3为本发明基于图像处理的喷药机器人的俯视图;
图4为本发明喷药机械手的结构示意图;
图5为本发明第一控制柜的结构示意图;
图6为本发明两自由度云台的结构示意图;
图7为本发明第二控制柜的内部结构示意图;
图8为本发明第二控制柜的主视图;
图9为本发明二维滑台的俯视图;
图10为本发明二维滑台的主视图。
具体实施方式
下面结合附图对本发明做进一步的说明。
实施例1:
基于图像处理的智能喷药方法,包括如下步骤:
①通过喷药机器人的视频采集模块实时采集前方区域的图像,并将采集到的图像送入数字信号处理器3a分析和处理;
②数字信号处理器3a将处理结果送至嵌入式控制器3f,嵌入式控制器3f根据移动平台1所在区域内植物和杂草的分布情况,控制移动平台1移动至待喷药区域附近;嵌入式控制器3f通过喷药机械手舵机驱动器3c驱动喷药机械手5将喷药杆5e送到待喷药区域内的杂草附近;
③嵌入式控制器3f控制除草剂喷药电机继电器4g吸合,进而控制除草剂喷药电机4e转动喷洒除草剂;同时喷药杆5e所连舵机转动从而带动除草剂喷头4a转动,达到喷洒均匀的目的;喷洒完毕后,嵌入式控制器3f控制除草剂喷药电机继电器4g释放,进而停止除草剂喷药电机4e转动;
④嵌入式控制器3f通过喷药机械手舵机驱动器5a进而驱动喷药机械手5将喷药杆5e送到待喷药区域内的作物附近;嵌入式控制器3f控制除虫剂喷药电机继电器4h吸合,进而控制除虫剂喷药电机4f转动喷洒除虫剂;喷洒完毕后,嵌入式控制器3f控制除虫剂喷药电机继电器4h释放进而停止除虫剂喷药电机4f转动。
基于图像处理的喷药机器人,包括移动平台1和设置在移动平台1上的视频采集系统、喷药系统和供电系统;所述供电系统与控制系统、喷药系统分别相连接并为其提供电源,所述视频采集系统通过控制系统与喷药系统相连接,所述控制系统与移动平台1相连实现喷药机器人的行走。
所述供电系统为锂电池组6,所述锂电池组6由八块锂电池级联和并联而成;所述锂电池组6通过电源线与电源稳压模块3b连接并为其提供电源。
所述控制系统为第一控制柜3,所述第一控制柜3包括数字信号处理器3a、电源稳压模块3b、喷药机械手舵机驱动器3c、ZIGBEE节点3e、嵌入式控制器3f和移动平台驱动模块3g;所述电源稳压模块3b与数字信号处理器3a、喷药机械手舵机驱动器3c、ZIGBEE节点3e、嵌入式控制器3f和移动平台驱动模块3g连接并为其提供电源,所述数字信号处理器3a与所述第一彩色模拟摄像机2a和第二彩色模拟摄像机2b连接,所述喷药机械手舵机驱动器3c与喷药机械手舵机连接并为其提供驱动电源,所述移动平台驱动模块3g与驱动轮总成1a相连,ZIGBEE节点3e的串口与嵌入式控制器3f的串口连接,数字信号处理器3a的串口与嵌入式控制器3f的串口线连接。
所述移动平台1包括平台车架1b和设置在平台车架1b上的驱动轮总成1a和二维滑台9。所述驱动轮总成1a包括车轮、转轴、减速齿轮箱、直流电机和支架;所述减速齿轮箱与车轮之间由转轴连接,所述直流电机和减速齿轮箱通过螺栓螺母固定在支架上,所述支架通过螺栓螺母固定在平台车架上。所述二维滑台9包括手轮9a、滚珠导轨9b、滚珠丝杠9c、滑块9d、挡块9e和底座9f;所述手轮9a通过联轴器和滚珠丝杠9c连接,所述滚珠丝杠9c上套有滑块9d,所述滚珠丝杠9c的两端和挡块9e连接,所述挡块9e固定在底座上。
所述视频采集系统包括第一彩色模拟摄像机2a和第二彩色模拟摄像机2b,所述第一彩色模拟摄像机2a和第二彩色模拟摄像机2b分别通过摄像机支架固定在滑块9d上。所述第一彩色模拟摄像机2a和第二彩色模拟摄像机2b通过BNC双绞线与数字信号处理器3a的视频捕获口连接,第一彩色模拟摄像机2a和第二彩色模拟摄像机2b通过螺栓固定设置在摄像机支架上。为了便于调节摄像机的拍摄角度,摄像机支架的上方设置有螺母调节结构,可以随意调节摄像机的姿态和方位。
所述喷药系统包括除草剂喷药系统、除虫剂喷药系统和喷药机械手5。所述除草剂喷药系统包括除草剂喷头4a、药液管道4c、除草剂喷药电机4e、除草剂喷药电机继电器4g和除草剂药箱4i,所述除草剂喷头4a通过药液管道4c与除草剂喷药电机4e的进药口连接,除草剂药箱4i通过药液管道4c与除草剂喷药电机4e的出药口连接,所述除草剂喷药电机继电器4g与除草剂喷药电机4e连接。所述除虫剂喷药系统包括除虫剂喷头4b、药液管道4c、除虫剂喷药电机4f、除虫剂喷药电机继电器4h和除虫剂药箱4j,所述除虫剂喷头4b通过药液管道4c与除虫剂喷药电机4f的进药口连接,除虫剂药箱4j通过药液管道4c与除虫剂喷药电机4f的出药口连接,所述除虫剂喷药电机继电器4h与除虫剂喷药电机4f连接。
所述喷药机械手5包括喷药杆5e和圆盘底座5c,所述喷药杆5e通过连接部件与圆盘底座5c相连,所述除草剂喷头4a和除虫剂喷头4b均设置在喷药机械手5的喷药杆5e上。所述连接部件包括三个舵机和两个连杆,所述舵机包括舵机C5a1、舵机D5a2和舵机E5a3,所述连杆包括连杆I5d1和连杆II5d2;所述喷药杆5e通过舵机C5a1及其舵机支架与连杆I5d1的一端相连,所述连杆I5d1的另一端通过舵机D及其舵机支架5b2与连杆II5d2的一端相连,所述连杆II5d2的另一端通过舵机E及其舵机支架5b3与圆盘底座5c固定相连,所述圆盘底座5c固定在移动平台1上。
实施例2:
本实施例与实施例1不同的是,所述基于图像处理的喷药机器人,还包括路况采集系统,所述路况采集系统包括路况摄像机8a、两自由度云台7和无线视频接收器10,所述路况摄像机8a通过两自由度云台7固定在移动平台1上,所述无线视频接收器10通过AV线与路况摄像机8a相连;所述供电系统与路况摄像机8a相连并为其提供电源;所述两自由度云台7包括两个舵机及舵机支架、U形支架7c、底座7d,所述舵机包括舵机A7a1和舵机B,所述舵机A7a1通过其舵机支架与U形支架7c连接,所述U形支架7c通过舵机B及其支架7b2与底座7d连接;所述路况摄像机8a固定设置在U形支架7c上;所述第一控制柜3还包括与两自由度云台的舵机相连的驱动器3d。
实施例3:
本实施例与实施例1不同的是,采用所述基于图像处理的喷药机器人进行智能喷药的方法还包括人工干预步骤:
(a)喷洒农药时,无线视频发射模块将路况摄像机8a采集的视频实时传输给无线视频接收器10,所述无线视频接收器10通过AV线与监控显示器12连接,工作人员通过监控显示器12可以实时观测智能喷药机器人所处区域的工作环境和工作状态;
(b)根据实时观测的结果,工作人员通过操作按键模块11g进而通过ZIGBEE协调器11c发射信号,ZIGBEE节点3e接收信号后传输给MSP430控制器11d,所述MSP430控制器11d通过控制两自由度云台驱动器3d进而控制两自由度云台7动作,从而控制路况摄像机8a的图像采集范围;
(c)工作人员根据路况摄像机8a采集的图像查看不同角度的工作环境和工作状态;根据查看结果控制喷药装置的判断喷药机器人的喷药区域和药量。
本实施例与实施例1不同的是,所述基于图像处理的喷药机器人,还包括路况采集系统和手持监控器。
所述路况采集系统包括路况摄像机8a、两自由度云台7和无线视频接收器10,所述路况摄像机8a通过两自由度云台7固定在移动平台1上,所述无线视频接收器10通过AV线与路况摄像机8a相连;所述供电系统与路况摄像机8a相连并为其提供电源;所述两自由度云台7包括两个舵机及舵机支架、U形支架7c、底座7d,所述舵机包括舵机A7a1和舵机B,所述舵机A7a1通过其舵机支架与U形支架7c连接,所述U形支架7c通过舵机B及其支架7b2与底座7d连接;所述路况摄像机8a固定设置在U形支架7c上;所述第一控制柜3还包括与两自由度云台的舵机相连的驱动器3d。
所述手持监控器,所述手持监控器包括显示器12和第二控制柜11,所述第二控制柜11包括供电模块11e、MSP430控制器11d、无线视频接收器11b、ZIGBEE协调器11c、液晶显示模块11f、按键模块11g;所述供电模块11e通过电源线与MSP430控制器11d、无线视频接收器11b、ZIGBEE协调器11c和液晶显示模块11f分别连接并为其提供电源,所述ZIGBEE协调器11c通过串口与MSP430控制器11d的串口连接进行通讯,所述按键模块11g与MSP430控制器11d的I/0口连接。所述显示器12为七寸彩色LCD显示器,所述LCD显示器通过AV线与无线视频接收器11b连接,锂电池供电模块11e通过电源线与LCD显示器连接并为其提供电源;所述无线视频接收器11b还包括一个接收天线11a,所述接收天线11a通过屏蔽电缆和无线视频接收头连接,用于接收无线视频和音频信号。

Claims (9)

1.基于图像处理的智能喷药方法,其特征在于,包括如下步骤:
①通过喷药机器人的视频采集模块实时采集前方区域的图像,并将采集到的图像送入数字信号处理器(3a)分析和处理;
②数字信号处理器(3a)将处理结果送至嵌入式控制器(3f),嵌入式控制器(3f)根据移动平台(1)所在区域内植物和杂草的分布情况,控制移动平台(1)移动至待喷药区域附近;嵌入式控制器(3f)通过喷药机械手舵机驱动器(3c)驱动喷药机械手(5)将喷药杆(5e)送到待喷药区域内的杂草附近;
③嵌入式控制器(3f)控制除草剂喷药电机继电器(4g)吸合,进而控制除草剂喷药电机(4e)转动喷洒除草剂;同时喷药杆(5e)所连舵机转动从而带动除草剂喷头(4a)转动,达到喷洒均匀的目的;喷洒完毕后,嵌入式控制器(3f)控制除草剂喷药电机继电器(4g)释放,进而停止除草剂喷药电机(4e)转动;
④嵌入式控制器(3f)通过喷药机械手舵机驱动器(5a)进而驱动喷药机械手(5)将喷药杆(5e)送到待喷药区域内的作物附近;嵌入式控制器(3f)控制除虫剂喷药电机继电器(4h)吸合,进而控制除虫剂喷药电机(4f)转动喷洒除虫剂;喷洒完毕后,嵌入式控制器(3f)控制除虫剂喷药电机继电器(4h)释放进而停止除虫剂喷药电机(4f)转动。
2.根据权利要求1所述的基于图像处理的智能喷药方法,其特征在于:还包括人工干预步骤:
(a)喷洒农药时,无线视频发射模块将路况摄像机(8a)采集的视频实时传输给无线视频接收器(10),所述无线视频接收器(10)通过AV线与监控显示器(12)连接,工作人员通过监控显示器(12)可以实时观测智能喷药机器人所处区域的工作环境和工作状态;
(b)根据实时观测的结果,工作人员通过操作按键模块(11g)进而通过ZIGBEE协调器(11c)发射信号,ZIGBEE节点(3e)接收信号后传输给MSP430控制器(11d),所述MSP430控制器(11d)通过控制两自由度云台驱动器(3d)进而控制两自由度云台(7)动作,从而控制路况摄像机(8a)的图像采集范围;
(c)工作人员根据路况摄像机(8a)采集的图像查看不同角度的工作环境和工作状态;根据查看结果控制喷药装置的判断喷药机器人的喷药区域和药量。
3.基于图像处理的喷药机器人,包括移动平台(1)和设置在移动平台(1)上的视频采集系统、喷药系统和供电系统;所述供电系统与控制系统、喷药系统分别相连接并为其提供电源,所述视频采集系统通过控制系统与喷药系统相连接,所述控制系统与移动平台(1)相连实现喷药机器人的行走,其特征在于:所述移动平台(1)包括平台车架(1b)和设置在平台车架(1b)上的驱动轮总成(1a);所述移动平台(1)上还设有二维滑台(9),所述二维滑台(9)包括手轮(9a)、滚珠导轨(9b)、滚珠丝杠(9c)、滑块(9d)、挡块(9e)和底座(9f);所述手轮(9a)通过联轴器和滚珠丝杠(9c)连接,所述滚珠丝杠(9c)上套有滑块(9d),所述滚珠丝杠(9c)的两端和挡块(9e)连接,所述挡块(9e)固定在底座上;所述视频采集系统包括第一彩色模拟摄像机(2a)和第二彩色模拟摄像机(2b),所述第一彩色模拟摄像机(2a)和第二彩色模拟摄像机(2b)分别通过摄像机支架固定在滑块(9d)上;所述喷药系统包括除草剂喷药系统、除虫剂喷药系统和喷药机械手(5),所述除草剂喷药系统和除虫剂喷药系统均包括喷药电机、药箱和喷头,所述喷药电机通过继电器与供电系统相连接,所述药箱与喷药电机的进药口连通,所述喷头与喷药电机的出药口连通;所述喷药机械手(5)包括喷药杆(5e)和圆盘底座(5c),所述喷药杆(5e)通过连接部件与圆盘底座(5c)相连,所述连接部件包括三个舵机和两个连杆,所述三个舵机之间通过两个连杆相连,所述舵机通过舵机支架与连杆相连,所述圆盘底座(5c)固定在移动平台(1)上;所述除草剂喷药系统和除虫剂喷药系统的喷头均设置在喷药机械手(5)的喷药杆(5e)上;所述控制系统为第一控制柜(3),所述第一控制柜(3)包括数字信号处理器(3a)、电源稳压模块(3b)、喷药机械手舵机驱动器(3c)、ZIGBEE节点(3e)、嵌入式控制器(3f)和移动平台驱动模块(3g);所述电源稳压模块(3b)与数字信号处理器(3a)、喷药机械手舵机驱动器(3c)、ZIGBEE节点(3e)、嵌入式控制器(3f)和移动平台驱动模块(3g)连接并为其提供电源,所述数字信号处理器(3a)与所述第一彩色模拟摄像机(2a)和第二彩色模拟摄像机(2b)连接,所述喷药机械手舵机驱动器(3c)与喷药机械手舵机连接并为其提供驱动电源,所述移动平台驱动模块(3g)与驱动轮总成(1a)相连,ZIGBEE节点(3e)的串口与嵌入式控制器(3f)的串口连接,数字信号处理器(3a)的串口与嵌入式控制器(3f)的串口线连接。
4.根据权利要求3所述的基于图像处理的喷药机器人,其特征在于:还包括路况采集系统,所述路况采集系统包括路况摄像机(8a)、两自由度云台(7)和无线视频接收器(10),所述路况摄像机(8a)通过两自由度云台(7)固定在移动平台(1)上,所述无线视频接收器(10)通过AV线与路况摄像机(8a)相连;所述供电系统与路况摄像机(8a)相连并为其提供电源;所述两自由度云台(7)包括两个舵机及舵机支架、U形支架(7c)、底座(7d),所述舵机A(7a1)通过其舵机支架与U形支架(7c)连接,所述U形支架(7c)通过舵机B及其支架(7b2)与底座(7d)连接;所述路况摄像机(8a)固定设置在U形支架(7c)上;所述第一控制柜(3)还包括与两自由度云台的舵机相连的两自由度云台驱动器(3d)。
5.根据权利要求4所述的基于图像处理的喷药机器人,其特征在于:还包括手持监控器,所述手持监控器包括显示器(12)和第二控制柜(11),所述第二控制柜(11)包括供电模块(11e)、MSP430控制器(11d)、无线视频接收器(11b)、ZIGBEE协调器(11c)、液晶显示模块(11f)、按键模块(11g);所述供电模块(11e)通过电源线与MSP430控制器(11d)、无线视频接收器(11b)、ZIGBEE协调器(11c)和液晶显示模块(11f)分别连接并为其提供电源,所述ZIGBEE协调器(11c)通过串口与MSP430控制器(11d)的串口连接进行通讯,所述按键模块(11g)与MSP430控制器(11d)的I/0口连接;所述显示器(12)与无线视频接收器(11b)连接,供电模块(11e)与显示器(12)连接并为其提供电源。
6.根据权利要求3所述的基于图像处理的喷药机器人,其特征在于:所述除草剂喷药系统包括除草剂喷头(4a)、药液管道(4c)、除草剂喷药电机(4e)、除草剂喷药电机继电器(4g)和除草剂药箱(4i),所述除草剂喷头(4a)通过药液管道(4c)与除草剂喷药电机(4e)的进药口连接,除草剂药箱(4i)通过药液管道(4c)与除草剂喷药电机(4e)的出药口连接,所述除草剂喷药电机继电器(4g)与除草剂喷药电机(4e)连接;所述除虫剂喷药系统包括除虫剂喷头(4b)、药液管道(4c)、除虫剂喷药电机(4f)、除虫剂喷药电机继电器(4h)和除虫剂药箱(4j),所述除虫剂喷头(4b)通过药液管道(4c)与除虫剂喷药电机(4f)的进药口连接,除虫剂药箱(4j)通过药液管道(4c)与除虫剂喷药电机(4f)的出药口连接,所述除虫剂喷药电机继电器(4h)与除虫剂喷药电机(4f)连接。
7.根据权利要求3所述的基于图像处理的喷药机器人,其特征在于:所述喷药杆(5e)通过舵机C(5a1)及其舵机支架与连杆I(5d1)的一端相连,所述连杆I(5d1)的另一端通过舵机D及其舵机支架(5b2)与连杆II(5d2)的一端相连,所述连杆II(5d2)的另一端通过舵机E及其舵机支架(5b3)与圆盘底座(5c)固定相连。
8.根据权利要求3-7任意一项所述的基于图像处理的喷药机器人,其特征在于:所述供电系统为锂电池组(6),所述锂电池组(6)由八块锂电池级联和并联而成;所述锂电池组(6)通过电源线与电源稳压模块(3b)连接并为其提供电源。
9.根据权利要求5所述的基于图像处理的喷药机器人,其特征在于:所述无线视频接收器(11b)还包括一个接收天线(11a)。
CN201410174241.8A 2014-04-29 2014-04-29 基于图像处理的智能喷药方法及喷药机器人 Active CN103918636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410174241.8A CN103918636B (zh) 2014-04-29 2014-04-29 基于图像处理的智能喷药方法及喷药机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410174241.8A CN103918636B (zh) 2014-04-29 2014-04-29 基于图像处理的智能喷药方法及喷药机器人

Publications (2)

Publication Number Publication Date
CN103918636A true CN103918636A (zh) 2014-07-16
CN103918636B CN103918636B (zh) 2015-12-16

Family

ID=51137225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410174241.8A Active CN103918636B (zh) 2014-04-29 2014-04-29 基于图像处理的智能喷药方法及喷药机器人

Country Status (1)

Country Link
CN (1) CN103918636B (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104186452A (zh) * 2014-08-26 2014-12-10 宋健伟 一种可调节农药喷洒距离的机器人
CN104476545A (zh) * 2014-11-13 2015-04-01 济南大学 一种果园自主喷药智能机器人
CN104503455A (zh) * 2014-12-31 2015-04-08 中国科学院合肥物质科学研究院 一种用于自走式热雾机的控制方法
CN104521932A (zh) * 2014-12-31 2015-04-22 中国科学院合肥物质科学研究院 一种基于无线视频传输控制的自走式热雾机
CN104731097A (zh) * 2015-02-09 2015-06-24 聊城大学 一种美国白蛾幼虫网幕喷药机器人局部运动控制方法
CN104738015A (zh) * 2015-04-08 2015-07-01 李淑 一种农药喷洒速率控制方法
CN104742734A (zh) * 2015-03-30 2015-07-01 钟长瑞 一种四轮驱动组合式多功能农用电动平台车
CN104738014A (zh) * 2015-04-08 2015-07-01 李淑 农药喷洒速率控制平台
CN104186453B (zh) * 2014-09-20 2015-12-16 南通宏大机电制造有限公司 车载农药自动喷洒系统
CN105222758A (zh) * 2015-10-20 2016-01-06 西安交通大学 基于鸟类视觉特征的多运动目标搜索与定位装置及方法
CN105278503A (zh) * 2015-10-23 2016-01-27 中国农业大学 一种基于网络的温室施药机器人远程控制系统
CN106737665A (zh) * 2016-11-30 2017-05-31 天津大学 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法
CN106912331A (zh) * 2017-03-02 2017-07-04 深圳春沐源农业科技有限公司 一种针对农作物害虫的喷药方法及喷药系统
CN107168367A (zh) * 2017-06-08 2017-09-15 中科院合肥技术创新工程院 基于机器视觉业的精准喷药系统
CN107409933A (zh) * 2017-05-18 2017-12-01 何振贤 一种葡萄树病虫害综合防治管理方法
CN107624736A (zh) * 2017-09-22 2018-01-26 昆明理工大学 一种轨道式三七喷药机
CN108271765A (zh) * 2018-01-05 2018-07-13 湘潭大学 一种多功能爪头监控环境机器人及其植物识别方法
CN109101029A (zh) * 2018-09-03 2018-12-28 重庆大学 一种果园自动巡逻检害智能小车及其工作方法
CN109122635A (zh) * 2018-08-17 2019-01-04 中国农业大学 一种温室/大棚中人机分离式喷施农药的方法
CN109169585A (zh) * 2018-08-14 2019-01-11 安徽速飞航空航天科技有限公司 一种4g智能打药系统及打药车
CN109213160A (zh) * 2018-08-31 2019-01-15 西南大学 一种田间除草施肥作业多轮足机器人
CN109362682A (zh) * 2018-10-15 2019-02-22 合肥工业大学 一种静电喷雾植保机器人及其控制方法
CN109511630A (zh) * 2017-09-20 2019-03-26 南京理工大学 具有目标跟踪功能的智能喷头
CN109526923A (zh) * 2018-12-21 2019-03-29 甘肃农业大学 一种植株智能喷药机器人
CN109826150A (zh) * 2019-02-17 2019-05-31 杨晓伟 高铁隧道冰柱清除机器人
CN109874506A (zh) * 2019-04-08 2019-06-14 济南大学 一种可喷药或采摘的模块化仿生四足机器人
CN110063321A (zh) * 2019-04-24 2019-07-30 河池学院 一种喷农药机器人系统
CN110612492A (zh) * 2018-06-20 2019-12-24 灵动科技(北京)有限公司 一种自驱动无人驾驶割草机
CN110843645A (zh) * 2019-11-15 2020-02-28 华南农业大学 一种专用于农田信息检测小车的电路系统
CN111397936A (zh) * 2020-04-02 2020-07-10 农业农村部南京农业机械化研究所 一种基于机器视觉的对靶喷施试验台及控制方法
CN111460998A (zh) * 2020-03-31 2020-07-28 北京伟杰东博信息科技有限公司 一种动态喷洒方法及其系统
CN111903655A (zh) * 2020-06-30 2020-11-10 农业农村部南京农业机械化研究所 一种可快速拆换机具的多功能田间管理机器人
CN112357074A (zh) * 2015-06-01 2021-02-12 深圳市大疆创新科技有限公司 泵送系统及无人飞行器
CN115027594A (zh) * 2022-05-26 2022-09-09 湖北第二师范学院 一种移动底盘和消毒喷洒小车
CN115226698A (zh) * 2022-09-13 2022-10-25 广东省农业科学院植物保护研究所 一种农作物种植用的智能施药机械手及控制方法
CN115812686A (zh) * 2022-10-31 2023-03-21 云南电网有限责任公司楚雄供电局 一种换流站不停电喷药灭草机器人
US11903379B2 (en) 2020-12-08 2024-02-20 Cnh Industrial America Llc System and method for performing spraying operations with an agricultural sprayer

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09268893A (ja) * 1996-03-30 1997-10-14 Katetsukusu:Kk コンクリート吹付ロボットにおけるアームロボット及び吹付ノズル
EP1518458A1 (en) * 2003-09-09 2005-03-30 di Biagio, Stefania Fixed atomizer for pastes, powders and liquids
CN1945601A (zh) * 2005-10-08 2007-04-11 中国农业机械化科学研究院 一种自动识别田间杂草的方法与喷药装置
WO2008005660A2 (en) * 2006-07-05 2008-01-10 Battelle Energy Alliance, Llc Robotics virtual rail system and method
CN202535969U (zh) * 2012-01-14 2012-11-21 河南科技大学 一种遥控式温室喷药装置
CN202588127U (zh) * 2012-04-12 2012-12-12 苏州博田自动化技术有限公司 喷雾系统
KR20140029863A (ko) * 2012-08-30 2014-03-11 전북대학교산학협력단 농업용 방제로봇
CN203860305U (zh) * 2014-04-29 2014-10-08 青岛农业大学 基于图像处理的喷药机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09268893A (ja) * 1996-03-30 1997-10-14 Katetsukusu:Kk コンクリート吹付ロボットにおけるアームロボット及び吹付ノズル
EP1518458A1 (en) * 2003-09-09 2005-03-30 di Biagio, Stefania Fixed atomizer for pastes, powders and liquids
CN1945601A (zh) * 2005-10-08 2007-04-11 中国农业机械化科学研究院 一种自动识别田间杂草的方法与喷药装置
WO2008005660A2 (en) * 2006-07-05 2008-01-10 Battelle Energy Alliance, Llc Robotics virtual rail system and method
CN202535969U (zh) * 2012-01-14 2012-11-21 河南科技大学 一种遥控式温室喷药装置
CN202588127U (zh) * 2012-04-12 2012-12-12 苏州博田自动化技术有限公司 喷雾系统
KR20140029863A (ko) * 2012-08-30 2014-03-11 전북대학교산학협력단 농업용 방제로봇
CN203860305U (zh) * 2014-04-29 2014-10-08 青岛农业大学 基于图像处理的喷药机器人

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104186452A (zh) * 2014-08-26 2014-12-10 宋健伟 一种可调节农药喷洒距离的机器人
CN104186453B (zh) * 2014-09-20 2015-12-16 南通宏大机电制造有限公司 车载农药自动喷洒系统
CN104476545B (zh) * 2014-11-13 2016-04-20 济南大学 一种果园自主喷药智能机器人
CN104476545A (zh) * 2014-11-13 2015-04-01 济南大学 一种果园自主喷药智能机器人
CN104521932A (zh) * 2014-12-31 2015-04-22 中国科学院合肥物质科学研究院 一种基于无线视频传输控制的自走式热雾机
CN104503455A (zh) * 2014-12-31 2015-04-08 中国科学院合肥物质科学研究院 一种用于自走式热雾机的控制方法
CN104731097A (zh) * 2015-02-09 2015-06-24 聊城大学 一种美国白蛾幼虫网幕喷药机器人局部运动控制方法
CN104731097B (zh) * 2015-02-09 2017-02-22 聊城大学 一种美国白蛾幼虫网幕喷药机器人局部运动控制方法
CN104742734A (zh) * 2015-03-30 2015-07-01 钟长瑞 一种四轮驱动组合式多功能农用电动平台车
CN105165773A (zh) * 2015-04-08 2015-12-23 李淑 农药喷洒速率控制平台
CN105165773B (zh) * 2015-04-08 2018-03-06 泉州嘉泉节能机电设备有限公司 农药喷洒速率控制平台
CN104738014A (zh) * 2015-04-08 2015-07-01 李淑 农药喷洒速率控制平台
CN104738015A (zh) * 2015-04-08 2015-07-01 李淑 一种农药喷洒速率控制方法
CN112357074A (zh) * 2015-06-01 2021-02-12 深圳市大疆创新科技有限公司 泵送系统及无人飞行器
CN105222758A (zh) * 2015-10-20 2016-01-06 西安交通大学 基于鸟类视觉特征的多运动目标搜索与定位装置及方法
CN105278503A (zh) * 2015-10-23 2016-01-27 中国农业大学 一种基于网络的温室施药机器人远程控制系统
CN106737665A (zh) * 2016-11-30 2017-05-31 天津大学 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法
CN106737665B (zh) * 2016-11-30 2019-07-19 天津大学 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法
CN106912331A (zh) * 2017-03-02 2017-07-04 深圳春沐源农业科技有限公司 一种针对农作物害虫的喷药方法及喷药系统
CN107409933A (zh) * 2017-05-18 2017-12-01 何振贤 一种葡萄树病虫害综合防治管理方法
CN107168367A (zh) * 2017-06-08 2017-09-15 中科院合肥技术创新工程院 基于机器视觉业的精准喷药系统
CN109511630B (zh) * 2017-09-20 2021-09-21 南京理工大学 具有目标跟踪功能的智能喷头
CN109511630A (zh) * 2017-09-20 2019-03-26 南京理工大学 具有目标跟踪功能的智能喷头
CN107624736A (zh) * 2017-09-22 2018-01-26 昆明理工大学 一种轨道式三七喷药机
CN107624736B (zh) * 2017-09-22 2022-12-23 昆明理工大学 一种轨道式三七喷药机
CN108271765A (zh) * 2018-01-05 2018-07-13 湘潭大学 一种多功能爪头监控环境机器人及其植物识别方法
CN110612492A (zh) * 2018-06-20 2019-12-24 灵动科技(北京)有限公司 一种自驱动无人驾驶割草机
CN109169585A (zh) * 2018-08-14 2019-01-11 安徽速飞航空航天科技有限公司 一种4g智能打药系统及打药车
CN109122635A (zh) * 2018-08-17 2019-01-04 中国农业大学 一种温室/大棚中人机分离式喷施农药的方法
CN109213160A (zh) * 2018-08-31 2019-01-15 西南大学 一种田间除草施肥作业多轮足机器人
CN109101029A (zh) * 2018-09-03 2018-12-28 重庆大学 一种果园自动巡逻检害智能小车及其工作方法
CN109362682A (zh) * 2018-10-15 2019-02-22 合肥工业大学 一种静电喷雾植保机器人及其控制方法
CN109526923A (zh) * 2018-12-21 2019-03-29 甘肃农业大学 一种植株智能喷药机器人
CN109826150A (zh) * 2019-02-17 2019-05-31 杨晓伟 高铁隧道冰柱清除机器人
CN109874506A (zh) * 2019-04-08 2019-06-14 济南大学 一种可喷药或采摘的模块化仿生四足机器人
CN110063321A (zh) * 2019-04-24 2019-07-30 河池学院 一种喷农药机器人系统
CN110843645A (zh) * 2019-11-15 2020-02-28 华南农业大学 一种专用于农田信息检测小车的电路系统
CN110843645B (zh) * 2019-11-15 2024-05-14 华南农业大学 一种专用于农田信息检测小车的电路系统
CN111460998B (zh) * 2020-03-31 2021-04-23 北京伟杰东博信息科技有限公司 一种动态喷洒方法及其系统
CN111460998A (zh) * 2020-03-31 2020-07-28 北京伟杰东博信息科技有限公司 一种动态喷洒方法及其系统
CN111397936A (zh) * 2020-04-02 2020-07-10 农业农村部南京农业机械化研究所 一种基于机器视觉的对靶喷施试验台及控制方法
CN111903655A (zh) * 2020-06-30 2020-11-10 农业农村部南京农业机械化研究所 一种可快速拆换机具的多功能田间管理机器人
US11903379B2 (en) 2020-12-08 2024-02-20 Cnh Industrial America Llc System and method for performing spraying operations with an agricultural sprayer
CN115027594A (zh) * 2022-05-26 2022-09-09 湖北第二师范学院 一种移动底盘和消毒喷洒小车
CN115027594B (zh) * 2022-05-26 2024-02-09 湖北第二师范学院 一种移动底盘和消毒喷洒小车
CN115226698A (zh) * 2022-09-13 2022-10-25 广东省农业科学院植物保护研究所 一种农作物种植用的智能施药机械手及控制方法
CN115226698B (zh) * 2022-09-13 2023-08-22 广东省农业科学院植物保护研究所 一种农作物种植用的智能施药机械手及控制方法
CN115812686A (zh) * 2022-10-31 2023-03-21 云南电网有限责任公司楚雄供电局 一种换流站不停电喷药灭草机器人

Also Published As

Publication number Publication date
CN103918636B (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
CN103918636B (zh) 基于图像处理的智能喷药方法及喷药机器人
CN203860305U (zh) 基于图像处理的喷药机器人
CN101947503B (zh) 温室对靶施药机器人系统
CN203646084U (zh) 智能多功能作业车
CN102239756B (zh) 一种棚室智能耕作机器人
CN205233280U (zh) 一种除草喷药机器人
CN101329560A (zh) 农业病虫害综合智能管理系统
CN105638613A (zh) 一种药剂喷施机器人系统及控制方法
CN113057154A (zh) 一种温室药液喷洒机器人
CN109964905A (zh) 基于果树识别定位的自走对靶施药机器人及其控制方法
CN106857466A (zh) 田间施肥喷药作业履带驱动蛇形机器人
CN202857639U (zh) 动态杂草识别与智能喷洒实验装置
CN109121874A (zh) 一种基于机器人的大棚植保系统
MURUGAN et al. Smart automated pesticide spraying bot
CN209862068U (zh) 一种用于果园作业的自主导航喷药机器人
CN205284756U (zh) 一种基于智能图像处理的农作物喷雾装置
CN204576324U (zh) 一种新型无线终端控制的温室大棚药物喷洒管理系统
CN208863429U (zh) 一种用于大棚植保的智能机器人
CN203860038U (zh) 一种精细化作物土壤施肥系统
CN207978792U (zh) 一种导轨式机械臂喷雾系统
CN104521932B (zh) 一种基于无线视频传输控制的自走式热雾机
CN214757947U (zh) 一种模块化除草装置
KR20200057961A (ko) 원격조정이 가능한 무인 작업장치
CN109169585A (zh) 一种4g智能打药系统及打药车
CN107711799A (zh) 一种基于无人机检测果园信息的人工智能喷药系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant