CN104615059B - 一种美国白蛾幼虫网幕喷药机器人控制系统 - Google Patents
一种美国白蛾幼虫网幕喷药机器人控制系统 Download PDFInfo
- Publication number
- CN104615059B CN104615059B CN201510063930.6A CN201510063930A CN104615059B CN 104615059 B CN104615059 B CN 104615059B CN 201510063930 A CN201510063930 A CN 201510063930A CN 104615059 B CN104615059 B CN 104615059B
- Authority
- CN
- China
- Prior art keywords
- spray
- motion
- area
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
- A01M7/0089—Regulating or controlling systems
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Insects & Arthropods (AREA)
- Pest Control & Pesticides (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明提供一种美国白蛾幼虫网幕喷药机器人控制系统,包括工业控制计算机单元,其特征是:所述工业控制计算机单元分别连接4轴驱动器单元、电动喷头单元和工业摄像头单元,所述4轴驱动器单元连接步进电机驱动单元和微动开关限位检测单元。本发明的工业控制计算机单元为4轴驱动器单元、工业摄像头单元和电动喷头单元发送控制信号,4轴驱动器单元根据接收的控制信号控制步进电机驱动单元工作,微动开关限位检测单元获取步进电机的位置信息,发送信号给4轴驱动器单元,4轴驱动器单元根据接收的信号控制步进电机驱动单元的工作或者停止,实现智能对靶喷药机器人的自动化喷药作业,提高喷药效率,降低农药污染。
Description
技术领域
本发明涉及机械人控制领域,具体地讲,涉及一种美国白蛾幼虫网幕喷药机器人控制系统。
背景技术
美国白蛾又名美国灯蛾、秋幕毛虫,属鳞翅目,灯蛾科,是举世瞩目的世界性检疫害虫。主要危害果树、行道树和观赏树木,尤其以阔叶树为重,对园林树木、经济林、农田防护林等造成严重的危害。
前3龄幼虫网幕较明显,是实施防治的最佳时机。目前常采用人工摘除网幕和化学药剂大规模喷施的防治方法。这些方式大多粗放、低效、高污染,智能对靶喷药机器人则能够实现美国白蛾幼虫网幕的自动化喷药作业,降低劳动强度,提高喷药效率。现有技术较少涉及美国白蛾幼虫网幕智能对靶喷药机器人控制系统。
美国白蛾幼虫网幕智能对靶喷药机器人由控制系统、喷药软件系统及机械系统组成。本发明专利主要涉及美国白蛾幼虫网幕智能对靶喷药机器人的控制系统。
发明内容:
本发明要解决的技术问题是提供一种美国白蛾幼虫网幕喷药机器人控制系统,基于工业控制计算机与其他单元的相互配合,从而驱动相应的机构,实现自动化喷药作业。
本发明采用如下技术手段实现发明目的:
一种智能对靶喷药机器人控制系统,包括工业控制计算机单元,其特征是:所述工业控制计算机单元分别连接4轴驱动器单元、电动喷头单元和工业摄像头单元,所述4轴驱动器单元连接步进电机驱动单元和微动开关限位检测单元,所述工业控制计算机单元通过RS232总线发出控制信号给4轴驱动器单元,4轴驱动器单元接受控制信号后,通过连接的I/O信号接口控制步进电机驱动单元,从而控制步进电机位置归零,实现步进电机所驱动的左滑轨和右滑轨的滑块到达初始位置;所述工业摄像头单元实时捕获美国白蛾幼虫网幕图像信息,并传送到工业控制计算机单元;工业控制计算机单元提取美国白蛾幼虫网幕图像信息,并估算网幕图像信息与机器人的相对距离L,并确定距离执行机构L处的物体的图像平面面积S和喷药覆盖面面积S′;令μ=S′/S,S为图像平面面积,S′为喷药覆盖面面积,当μ>0.5时,执行简单的扫描控制策略,当μ<=0.5时,执行扫描、对靶、喷药三种运动的复杂策略,最终确定最优喷药位置,一旦发现喷药区域,则发出信号,停止步进电机运动;此时,工业控制计算机单元通过RS232总线控制电动喷头单元,通过控制继电器模块,打开喷药头,美国白蛾幼虫网幕智能对靶喷药机器人对此区域实施喷药,2秒后,关闭喷药头。
作为对本技术方案的进一步限定,所述工业控制计算机单元通过RS232总线分别与所述4轴驱动器单元和电动喷头单元相互连接,所述工业控制计算机单元通过USB总线与所述工业摄像头单元相互连接。
作为对本技术方案的进一步限定,所述步进电机驱动单元包括3个57系列的步进电机及其相应的步进电机驱动器,4轴驱动器单元的相关I/O口与步进电机驱动器的方向信号和脉冲信号口相连接,控制3个步进电机的转向和转速,通过同步带驱动直线导轨,实现一个平面内横向和纵向的二维运动。
作为对本技术方案的进一步限定,所述电动喷头单元包括继电器模块和喷药头,继电器模块通过RS232总线与所述工业控制计算机单元相互连接,接受工业控制计算机单元发出的控制信号。
作为对本技术方案的进一步限定,所述的简单的扫描控制策略包括如下步骤:
(1)确定喷药机器人局部运动轨迹,每个扫描行之间的距离h公式如下:
h=0.8*b*δ,其中,δ为距离执行机构L处的二维垂直立面A上的物体与其图像中的成像大小的对应比例关系,b是图像中的喷药覆盖范围的内接正四边形的边长;
(2)最佳喷药位置的确定:相机向右平移时,设变量Left、Down初值为零,用来标记输入图像Q中喷药区域M范围内的左侧、下侧边缘区域是否有未喷药的目标,输入图像Q为从视频流中获取的静态单帧图像,为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域,首先在机械系统运动过程中使用上述单帧图像处理方法实时检测图像中是否有目标区域,设喷药区域M经检测其中有目标区域,检测M中敏感区域中是否有白色目标,若左侧敏感区域中有,则将Left置为true,若下侧敏感区域中有,则将Down置为true,若Left和Down有一者为true,则表示进入最佳喷药位置,否则不需喷药;
(3)重复步骤(2),直到满足扫描终止条件,即相机位于可运动区域最左端或最右端,且距离可运动区域最上端不足扫描行之间的距离h,即不足以进行下一行扫描。
作为对本技术方案的进一步限定,所述复杂的扫描控制策略包括如下步骤:
(1)扫描主运动的确定:h=0.8*d*δ,其中,δ为立面A上的物体与其图像中的成像大小的对应比例关系,d是成像图像的高度;
(2)执行对靶运动喷药运动的条件:当相机向右运动即图像相左时的判断条件,设变量Left、Down初值为零,用来标记输入图像Q中的左侧,下侧边缘区域是否有未喷药的目标,输入图像Q为从视频流中获取的静态单帧图像,为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域,首先在机械系统运动过程中使用上述单帧图像处理方法实时检测图像Q中是否有目标区域,假设输入图像为Q经检测其中有目标区域,检测Q中敏感区域中是否有白色目标,若左侧敏感区域中有,则将Left置为true,若下侧敏感区域c中有,则将Down置为true,若Left和Down有一者为true,则需进行喷药处理;
(3)按照轮廓优先次序依次对图像Q内存在的所有目标执行对靶运动:图像Q面积较大时,如果存在多个需喷药目标,此时需对图像Q内存在的所有目标进行喷药优先级判断,进而确定是否进入最佳喷药位置,这里使用轮廓的重心来标识轮廓位置及重要性,重心的确定方法如下:
其中指的是重心的坐标;A指的是轮廓区域的面积;
ρ(x,y)指的是加权值表征虫害程度,可用生长素探测经试验获得,设某一轮廓j的重心到图像Q中心距离为Lj,面积为Aj,记权重G(j)=Lj×Aj,按照权重的大小确定轮廓处理的先后顺序,先后顺序确定后,将第一个要处理的轮廓标记为正在处理,然后将当前的摄像机所在坐标及当前图像压入堆栈即将当前工作状态先保存,之后经对靶运动将摄像头和喷药头对准到第一个轮廓上,从边缘开始喷药同时将已喷药区域的相机坐标标记为已喷,完毕后以直线返回保存在堆栈中的摄像机所在坐标,读取保存的图像即回复工作状态并将第一个轮廓标记为已处理,而后用相同方法处理其余轮廓直到全部处理完毕,手眼执行机构继续扫描运动;
(4)重复步骤(2)和(3),直到满足扫描终止条件,即相机位于可运动区域最左端或最右端,且距离可运动区域最上端不足h,即不足以进行下一行扫描。
作为对本技术方案的进一步限定,所述步骤(3)的对对靶运动是指执行机构由当前位置运动到目标轮廓所在区域的运动,并且为了便于控制,执行机构只能向8个方向运动,即上、下、左、右、左上、左下、右上、右下,对靶运动具体实施方法如下:
①对靶运动初始化:设一枚举类型Direction={正左,左上,正上,右上,正右,右下,正下,左下}用来表示速度向量即运动方向,设一个Direction类型变量V并将当前相机运动方向V0设初始值为正左,设一变量k用来累计某一时间间隔内的帧数,初始值为零,最后从内存中开辟一个二维动态数组用来存储目标轮廓的面积值记为Area(v,k),其中v是Direction类型表示运动方向,k表示当前累计的帧数,Area(v,k)表示执行机构沿v方向运动累计帧数为k时,摄像机在当前位置拍摄的图像中该目标轮廓的面积,k的初始值为0;
②确定方向:在第N帧图像中找到目标轮廓并求得其形心在图像中的坐标设为On(xn,yn),则可知最佳的运动方向为向量角度为其中O0(x0,y0)为图像中心坐标,若θ∈[-22.5°,22.5°],则Vn={正左};若θ∈[22.5°,67.5°],则Vn={左上};若θ∈[67.5°,112.5°],则Vn={正上};若θ∈[112.5°,157.5°],则Vn={右上};若θ∈[157.5°,180°]∪[-180°,-157.5°],则Vn={正右};若θ∈[-157.5°,-112.5°],则Vn={右下};若θ∈[-112.5°,-67.5°],则Vn={正下};若θ∈[-67.5°,-22.5°],则Vn={右下},并计算目标轮廓面积,存储到Area(Vn,N)中;
③因所设运动方向为固定的8个,而实际目标并不一定完全在该方向上,需实时调整运动方向使执行机构尽快靠近目标,设图像的帧频为F,可以根据执行机构的实际运动速度设定一个较短的时间间隔Δt,则在Δt时间内播放的帧数为F×Δt,假设当前为对靶运动开始,此时Area(Vn,N)中存储的为对靶运动开始时的目标轮廓面积,执行机构开始沿Vn方向运动并在读取每一帧时将变量k自增1,当到达Δt时刻时,设此时的累计帧数为Km,则有,先将变量k归零,然后读取当前摄像头拍摄的图像提取目标轮廓并统计其面积记为从Area(Vn,N)中提取对靶运动开始时存入的运动方向记为Vn;提取出对靶运动开始时存入的面积记为若则表示正在接近目标轮廓,不必改变运动方向,即Vm=Vn,并将其面积存储到Area(Vm,Km)中,执行机构继续沿该方向运动,否则,则说明此时的运动已远离目标轮廓,此时需重复步骤②重新确定对靶方向Vn,然后重复步骤③,直至喷药头的喷药区域内出现喷药目标,一次对靶运动结束,可以开始喷药。
与现有技术相比,本发明的优点和积极效果:本发明的工业控制计算机单元为4轴驱动器单元、工业摄像头单元和电动喷头单元发送控制信号,4轴驱动器单元根据接收的控制信号控制步进电机驱动单元工作,微动开关限位检测单元获取步进电机的位置信息,发送信号给4轴驱动器单元,4轴驱动器单元根据接收的信号控制步进电机驱动单元的工作或者停止,实现智能对靶喷药机器人的自动化喷药作业,提高喷药效率,降低农药污染。
附图说明
图1为机器人视觉系统整体工作模式示意图。
图2为机器人执行机构局部运动控制策略流程图。
图3机器人执行机构局部运动轨迹。
图4为机械系统中摄像头与喷药头喷药覆盖面关系示意图。
图5为使用边界界定法对情况1时的简单的扫描控制策略示意图。
图6为使用边界界定法对情况2时的判定方法示意图。
图7为喷药运动可能出现情况图。
图8为情况2时对靶运动过程流程图。
图9为本发明的机械系统的结构示意图。
图10为本发明实施例的上下移动组件结构示意图。
图11为本发明实施例的左右移动组件结构示意图。
图12为本发明的控制系统方框图。
图中,1-机架;2-上下移动机构;3-左右移动机构;4-控制装置;5-滚轮;9-喷雾机;10-左支撑座;11-左滑轨;12-右支撑座;13-右滑轨;14-左光轴支撑块;15-左光轴支撑座;16-右光轴支撑块;17-右光轴支撑座;18-转动光轴;19-左齿轮;20-右齿轮;21-左步进电机;22-右步进电机;23-左转动圈;24-右转动圈;25-左转动皮带;26-左传动皮带;27-右转动皮带;28-右传动皮带;29-左滑块;30-右滑块;31-支撑架;32-喷头支撑座;33-摄像头支撑架;34-横转动圈;35–横向步进电机;36-摄像头;37-横向皮带;38-喷药头;39-IPC工控机;40-横向滑轨:41-横向滑块,D1—喷药覆盖面直径;D2—摄像头视野直径;L—执行机构到特定竖直面的距离。
具体实施方式:
下面结合实施例,进一步说明本发明。
参见图1-图12,美国白蛾幼虫网幕的分布极其复杂,给处理造成极大困难,为提高系统的效率和精度,本研究设定了一些工作前提条件:
(1)机械系统的主运动为竖直平面内的二维运动。因喷药对象往往植株巨大,而喷头的喷射角有一个立体的覆盖范围,只要在这一范围中就可以被喷到,过于精细的三维空间运动会造成运动冗余使处理效率低下,因此本研究采用了二维运动模式,并且为了取得较好的视频防抖效果,摄像头的运动尽量保持水平或垂直的匀速运动。
(2)摄像头与植株间的相对距离保持不变,摄像头坐标系三坐标轴与大地坐标系平行。
(3)喷药系统在小车驱动下沿植株的运动轨迹为圆周,并在圆周的定点位置实施喷药。喷药时,升降装置根据植株具体高度首先升高到一定位置,然后机械系统在喷药支架上做局部的直线运动,覆盖一定的树冠面积,并且通过升降装置的进一步升高,使喷药范围覆盖到树顶。
因美国白蛾一般危害阔叶树,喷药对象往往植株巨大,设计机器人视觉系统整体工作模式为:设计摄像头安装在喷头的正上方组成机械系统,机构在导轨支撑和电机引导下在喷药支架上做空间二维运动,整个喷药装置在升降小车驱动下沿植株做圆周运动,并根据需要在圆周的定点位置实施喷药。喷药时,升降装置根据植株具体高度首先升高到一定位置,然后机械系统在喷药支架上做竖直平面内的二维运动,覆盖一定的树冠面积,通过升降装置的进一步升高,使喷药范围在该方向上覆盖到树顶,喷药装置与植株位置关系如图1所示。
定点位置时机械系统在喷药支架上做的局部二维运动为本方法的主要设计对象,在运动过程中采用边识别边喷药的模式,机器人局部运动轨迹由算法根据喷药目标的位置决定,机器人局部运动控制策略流程图如图2所示,机械系统局部运动轨迹如图3所示。
机械系统包括机架1和滚轮5,所述机架1的前侧设置有上下移动机构和左右移动机构,所述左右移动机构上设置有能够沿所述左右移动机构移动的喷药头,所述喷头的上端固定有摄像头36,所述摄像头36和喷药头38均连接控制装置,滚轮5包括左前轮、左后轮、右前轮和右后轮。
所述控制装置包括喷雾机9和工业控制计算机单元39,所述工业控制计算机单元39分别连接4轴驱动器单元、电动喷头单元和工业摄像头单元,所述4轴驱动器单元连接步进电机驱动单元和微动开关限位检测单元。
所述工业控制计算机单元通过RS232总线分别与所述4轴驱动器单元和电动喷头单元相互连接,所述工业控制计算机单元通过USB总线与所述工业摄像头单元相互连接。
所述步进电机驱动单元包括3个57系列的步进电机及其相应的步进电机驱动器,4轴驱动器单元的相关I/O口与步进电机驱动器的方向信号和脉冲信号口相连接,控制3个步进电机的转向和转速,通过同步带驱动直线导轨,实现一个平面内横向和纵向的二维运动。所述电动喷头单元包括继电器模块和喷药头,继电器模块通过RS232总线与所述工业控制计算机单元相互连接,接受工业控制计算机单元发出的控制信号。
所述上下移动机构包括对称的左支撑座10和右支撑座12,所述左支撑座10和右支撑座12安装在所述机架1上,所述左支撑座10和右支撑座12的下端分别对应设置有左转动圈23和右转动圈24,所述左支撑座10和右支撑座12的前侧分别对应设置有左滑轨11和右滑轨13,所述左滑轨11和右滑轨13上分别对应设置左滑块29和右滑块30,所述左支撑座10和右支撑座12的上端分别对应设置有左光轴支撑块14和右光轴支撑块16,所述左光轴支撑块14和右光轴支撑块16的前端分别对应设置有左光轴支撑座15和右光轴支撑座17,所述左光轴支撑座15和右光轴支撑座17之间设置有转动光轴18,所述转动光轴18的两端分别设置有左齿轮19和右齿轮20,所述左齿轮19通过左转动皮带25连接左步进电机21,同时,所述左齿轮19通过左传动皮带26连接所述左转动圈23,所述右齿轮20通过右转动皮带27连接右步进电机22,同时,所述右齿轮20通过右传动皮带28连接所述右转动圈24。
左步进电机21和右步进电机22,通过皮带轮带动左转动带25和右转动带27转动,并由此带动齿轮旋转使转动光轴转动,进而带动左传动带26和右传动带28转动,进而带动左滑块29和右滑块30在左滑轨11和右滑轨13上上、下移动,该设计保证了运动的可靠性。
所述左右移动机构包括安装在所述左滑块和右滑块上的支撑架31,所述支撑架31上设置有横向滑轨40,所述横向滑轨40上设置有与其配合的横向滑块41,所述横向滑块41上设置有喷雾支撑座32,所述喷雾支撑座32过盈配合所述喷药头38,所述喷雾支撑座32的上端设置有摄像头支撑架33,所述摄像头支撑架33上安装所述摄像头36,所述支撑架31的一端设置有横向步进电机35,另一端设置有横向转动圈34,所述横向步进电机35的输出轴通过横向皮带37与所述横向转动圈34套接。横向步进电机35通过带动横向转动带37转动,进而带动摄像头支撑座32移动,进而采集图像。
首先将摄像头略下偏,光轴与喷药覆盖区域的主轴有一个重合点(具体偏转角度应由试验确定),这时在某一特定距离点处,图像平面和喷药覆盖面的面积可以确定。本实例采用了与喷药装置最近的一个枝叶所在的立面(用立面A表示)与喷药装置(即喷药头)之间的距离作为估计距离L,此时图像平面面积为S,喷药覆盖面面积为S′。机械系统中摄像头与喷头喷药覆盖面关系示意图如图4所示。
针对不同喷药对象,根据喷药压力、当时风速、病虫害严重情况等,喷头的张角应实时做出调整,这样就会使得喷药覆盖面面积S′与图像平面面积S之间的关系发生变化,令μ=S′/S,研究针对μ>0.5(情况1)和μ<=0.5(情况2)两种情况进行不同的处理。
两种情况之下,均应首先进行单帧图像的图像处理:根据美国白蛾幼虫网幕图像色彩分布特征,选择RGB颜色空间,分析网幕、叶片和树枝的各通道数据的差值,采用R-B色差模型并结合最大类间方差法和阈值算法,分割网幕图像。使用Freeman编码算法和区域标记计算出每一区域的面积,使用多个面积的平均值和标准方差确定面积双阈值,进行残余噪声去除,最后使用改进的膨胀腐蚀法进行图像补偿,最终图像中的目标表现为连续的白色区域。本发明使用了发明人已公开发表的《美国白蛾幼虫网幕图像处理算法》(农业机械学报2013年第9期)中所述方法进行处理,可以提取出图像中所有可疑的网幕目标区域。在此不再赘述。
针对情况1,最佳喷药位置确定方法如下:
(1)确定机器人局部运动轨迹,示意图如图3。其中h表示每个扫描行之间的距离,由喷药覆盖范围的内接正四边形的边长b决定,为避免漏喷设置一定重合度,h=0.8*b*δ(δ为立面A上的物体与其图像中的成像大小的对应比例关系,其值由试验确定)。
(2)最佳喷药位置的确定:相机向右平移时,设变量Left、Down初值为零,用来标记输入图像Q中喷药区域M范围内的左侧、下侧边缘区域是否有未喷药的目标,为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域,首先在机械系统运动过程中使用上述单帧图像处理方法实时检测图像中是否有目标区域,设喷药区域M中经检测其中有目标区域,检测M中敏感区域中是否有白色目标,若左侧敏感区域中有,则将Left置为true,若下侧敏感区域中有,则将Down置为true,若Left和Down有一者为true,则表示进入最佳喷药位置,否则不需喷药,判断方法示意图如图5所示。
(3)扫描终止条件:相机位于可运动区域最左端或最右端,且距离可运动区域最上端不足h,即不足以进行下一行扫描。
针对情况2,最佳喷药位置确定方法如下:
(1)扫描主运动的确定:h=0.8*d*δ,其中,δ为立面A上的物体与其图像中的成像大小的对应比例关系,d为图像的高度。
(2)执行对靶运动喷药运动的条件:因向左运动与向右运动的处理方式是对称的,因此这里仅介绍相机相右运动即图像相左时的判断条件。设变量Left、Down初值为零,用来标记输入图像Q的左侧,下侧边缘区域是否有未喷药的目标,为避免了漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域,若敏感区域中有网幕目标,则设变量为true。若Left,Down有一者为true,则需进行下一步处理(如图6所示),否则执行机构继续运动重复过程(2)。
(3)按照轮廓优先次序依次对视野内存在的所有目标执行对靶运动:情况2时,输入图像Q面积较大,其中可能存在多个需喷药目标,此时需对图像Q内存在的所有目标进行喷药优先级判断,进而确定是否进入最佳喷药位置。这里使用轮廓的重心来标识轮廓位置及重要性。重心的确定方法如下:
其中指的是重心的坐标;A指的是轮廓区域的面积;
ρ(x,y)指的是加权值表征虫害程度,可用生长素探测经试验获得。设某一轮廓j的重心到图像Q中心距离为Lj,面积为Aj,记权重G(j)=Lj×Aj,按照权重的大小确定轮廓处理的先后顺序。先后顺序确定后,将第一个要处理的轮廓标记为正在处理,然后将当前的摄像机所在坐标和当前图像压入堆栈即将当前工作状态先保存。之后经对靶运动将摄像头和喷药头对准到第一个轮廓上,从边缘开始喷药同时将已喷药区域的相机坐标标记为已喷,完毕后以直线返回保存在堆栈中的摄像机所在坐标,读取保存的图像即回复工作状态并将第一个轮廓标记为已处理。而后用相同方法处理其余轮廓直到全部处理完毕。喷药机构继续扫描运动。
(4)上述方法中所谓对靶运动是指执行机构由当前位置运动到目标轮廓所在区域的运动。并且为了便于控制,执行机构只能向8个方向运动,即上、下、左、右、左上、左下、右上、右下。对靶运动具体实施方法如下:
①对靶运动初始化:设一枚举类型Direction={正左,左上,正上,右上,正右,右下,正下,左下}用来表示速度向量即运动方向,设一个Direction类型变量V并将当前相机运动方向V0设初始值为正左,设一变量k用来累计某一时间间隔内的帧数,初始值为零,最后从内存中开辟一个二维动态数组用来存储目标轮廓的面积值记为Area(v,k),其中v是Direction类型表示运动方向,k表示当前累计的帧数,Area(v,k)表示执行机构沿v方向运动累计帧数为k时,摄像机在当前位置拍摄的图像中该目标轮廓的面积,k的初始值为0;
②确定方向:在第N帧图像中找到目标轮廓并求得其形心在图像中的坐标设为On(xn,yn),则可知最佳的运动方向为向量角度为其中O0(x0,y0)为图像中心坐标,若θ∈[-22.5°,22.5°],则Vn={正左};若θ∈[22.5°,67.5°],则Vn={左上};若θ∈[67.5°,112.5°],则Vn={正上};若θ∈[112.5°,157.5°],则Vn={右上};若θ∈[157.5°,180°]∪[-180°,-157.5°],则Vn={正右};若θ∈[-157.5°,-112.5°],则Vn={右下};若θ∈[-112.5°,-67.5°],则Vn={正下};若θ∈[-67.5°,-22.5°],则Vn={右下},并计算目标轮廓面积,存储到Area(Vn,N)中;
③因所设运动方向为固定的8个,而实际目标并不一定完全在该方向上,需实时调整运动方向使执行机构尽快靠近目标,设图像的帧频为F,可以根据执行机构的实际运动速度设定一个较短的时间间隔Δt,则在Δt时间内播放的帧数为F×Δt,假设当前为对靶运动开始,此时Area(Vn,N)中存储的为对靶运动开始时的目标轮廓面积,执行机构开始沿Vn方向运动并在读取每一帧时将变量k自增1,当到达Δt时刻时,设此时的累计帧数为Km,则有,先将变量k归零,然后读取当前摄像头拍摄的图像现有的提取方法提取目标轮廓并统计其面积记为从Area(Vn,N)中提取对靶运动开始时存入的运动方向记为Vn;提取出对靶运动开始时存入的面积记为若则表示正在接近目标轮廓,不必改变运动方向,即Vm=Vn,并将其面积存储到Area(Vm,Km)中,执行机构继续沿该方向运动,否则,则说明此时的运动已远离目标轮廓,此时需重复步骤②重新确定对靶方向Vn,然后重复步骤③,直至图6中喷药区域内出现喷药目标,一次对靶运动结束,可以开始喷药。
(5)当实际的网幕目标面积远大于喷药覆盖面时,需对喷药运动进行设计。对靶运动结束后网幕目标的边缘已进入喷药模板,读取堆栈中保存的原始图像,截取本次喷药目标的部分,命名为T,执行机构沿水平方向开始喷药,运动方向取决于T的形状,将已喷完的区域的像素值变为0。此时图像T可能被分割为两个或多个区域,按照临近原则依次对剩余区域进行水平喷药。若图像T中依然只有一个轮廓,那么说明喷药所在的点为喷药目标区域的正上方或正下方,此时将喷药头向喷药目标区域所在一侧移动一个宽度,继续水平喷药。最终图像T中图像像素均为零时,表示所有可喷药区域都已经喷完,喷药运动结束。图像T可能被分割的情况如图7所示。
(6)重复步骤(2)-(5),直至相机位于可运动区域最左端或最右端,且距离可运动区域最上端不足h,即不足以进行下一行扫描。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种美国白蛾幼虫网幕喷药机器人控制系统,包括工业控制计算机单元,其特征是:所述工业控制计算机单元分别连接4轴驱动器单元、电动喷头单元和工业摄像头单元,所述4轴驱动器单元连接步进电机驱动单元和微动开关限位检测单元,所述工业控制计算机单元通过RS232总线发出控制信号给4轴驱动器单元,4轴驱动器单元接受控制信号后,通过连接的I/O信号接口控制步进电机驱动单元,从而控制步进电机位置归零,实现步进电机所驱动的左滑轨和右滑轨的滑块到达初始位置;所述工业摄像头单元实时捕获美国白蛾幼虫网幕图像信息,并传送到工业控制计算机单元;工业控制计算机单元提取美国白蛾幼虫网幕图像信息,并估算网幕图像信息与机器人的相对距离L,并确定距离执行机构L处的物体的图像平面面积S和喷药覆盖面面积S′;令μ=S′/S,S为图像平面面积,S′为喷药覆盖面面积,当μ>0.5时,执行简单的扫描控制策略,当μ<=0.5时,执行扫描、对靶、喷药三种运动的复杂策略,最终确定最优喷药位置,一旦发现喷药区域,则发出信号,停止步进电机运动;此时,工业控制计算机单元通过RS232总线控制电动喷头单元,通过控制继电器模块,打开喷药头,美国白蛾幼虫网幕智能对靶喷药机器人对此区域实施喷药,2秒后,关闭喷药头。
2.根据权利要求1所述的美国白蛾幼虫网幕喷药机器人控制系统,其特征是:所述工业控制计算机单元通过RS232总线分别与所述4轴驱动器单元和电动喷头单元相互连接,所述工业控制计算机单元通过USB总线与所述工业摄像头单元相互连接。
3.根据权利要求1所述的美国白蛾幼虫网幕喷药机器人控制系统,其特征是:所述步进电机驱动单元包括3个57系列的步进电机及其相应的步进电机驱动器,4轴驱动器单元的相关I/O口与步进电机驱动器的方向信号和脉冲信号口相连接,控制3个步进电机的转向和转速,通过同步带驱动直线导轨,实现一个平面内横向和纵向的二维运动。
4.根据权利要求1所述的美国白蛾幼虫网幕喷药机器人控制系统,其特征是:所述电动喷头单元包括继电器模块和喷药头,继电器模块通过RS232总线与所述工业控制计算机单元相互连接,接受工业控制计算机单元发出的控制信号。
5.根据权利要求1所述的美国白蛾幼虫网幕喷药机器人控制系统,其特征是:所述的简单的扫描控制策略包括如下步骤:
(1)确定喷药机器人局部运动轨迹,每个扫描行之间的距离h公式如下:
h=0.8*b*δ,其中,δ为距离执行机构L处的二维垂直立面A上的物体与其图像中的成像大小的对应比例关系,b是图像中的喷药覆盖范围的内接正四边形的边长;
(2)最佳喷药位置的确定:相机向右平移时,设变量Left、Down初值为零,用来标记输入图像Q中喷药区域M范围内的左侧、下侧边缘区域是否有未喷药的目标,输入图像Q为从视频流中获取的静态单帧图像,为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域,首先在机械系统运动过程中使用上述单帧图像处理方法实时检测图像中是否有目标区域,设喷药区域M经检测其中有目标区域,检测M中敏感区域中是否有白色目标,若左侧敏感区域中有,则将Left置为true,若下侧敏感区域中有,则将Down置为true,若Left和Down有一者为true,则表示进入最佳喷药位置,否则不需喷药;
(3)重复步骤(2),直到满足扫描终止条件,即相机位于可运动区域最左端或最右端,且距离可运动区域最上端不足扫描行之间的距离h,即不足以进行下一行扫描。
6.根据权利要求1所述的美国白蛾幼虫网幕喷药机器人控制系统,其特征是:所述扫描、对靶、喷药三种运动的复杂策略包括如下步骤:
(1)扫描主运动的确定:h=0.8*d*δ,其中,δ为立面A上的物体与其图像中的成像大小的对应比例关系,d是成像图像的高度;
(2)执行对靶运动喷药运动的条件:当相机向右运动即图像相左时的判断条件,设变量Left、Down初值为零,用来标记输入图像Q中的左侧,下侧边缘区域是否有未喷药的目标,输入图像Q为从视频流中获取的静态单帧图像,为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域,首先在机械系统运动过程中使用上述单帧图像处理方法实时检测图像Q中是否有目标区域,假设输入图像为Q经检测其中有目标区域,检测Q中敏感区域中是否有白色目标,若左侧敏感区域中有,则将Left置为true,若下侧敏感区域中有,则将Down置为true,若Left和Down有一者为true,则需进行喷药处理;
(3)按照轮廓优先次序依次对图像Q内存在的所有目标执行对靶运动:图像Q面积较大时,如果存在多个需喷药目标,此时需对图像Q内存在的所有目标进行喷药优先级判断,进而确定是否进入最佳喷药位置,这里使用轮廓的重心来标识轮廓位置及重要性,重心的确定方法如下:
其中指的是重心的坐标;A指的是轮廓区域的面积;
ρ(x,y)指的是加权值表征虫害程度,可用生长素探测经试验获得,设某一轮廓j的重心到图像Q中心距离为Lj,面积为Aj,记权重G(j)=Lj×Aj,按照权重的大小确定轮廓处理的先后顺序,先后顺序确定后,将第一个要处理的轮廓标记为正在处理,然后将当前的摄像机所在坐标及当前图像压入堆栈即将当前工作状态先保存,之后经对靶运动将摄像头和喷药头对准到第一个轮廓上,从边缘开始喷药同时将已喷药区域的相机坐标标记为已喷,完毕后以直线返回保存在堆栈中的摄像机所在坐标,读取保存的图像即回复工作状态并将第一个轮廓标记为已处理,而后用相同方法处理其余轮廓直到全部处理完毕,手眼执行机构继续扫描运动;
(4)重复步骤(2)和(3),直到满足扫描终止条件,即相机位于可运动区域最左端或最右端,且距离可运动区域最上端不足h,即不足以进行下一行扫描。
7.根据权利要求6所述的美国白蛾幼虫网幕喷药机器人控制系统,其特征是:所述步骤(3)的对对靶运动是指执行机构由当前位置运动到目标轮廓所在区域的运动,并且为了便于控制,执行机构只能向8个方向运动,即上、下、左、右、左上、左下、右上、右下,对靶运动具体实施方法如下:
①对靶运动初始化:设一枚举类型Direction={正左,左上,正上,右上,正右,右下,正下,左下}用来表示速度向量即运动方向,设一个Direction类型变量V并将当前相机运动方向V0设初始值为正左,设一变量k用来累计某一时间间隔内的帧数,初始值为零,最后从内存中开辟一个二维动态数组用来存储目标轮廓的面积值记为Area(v,k),其中v是Direction类型表示运动方向,k表示当前累计的帧数,Area(v,k)表示执行机构沿v方向运动累计帧数为k时,摄像机在当前位置拍摄的图像中该目标轮廓的面积,k的初始值为0;
②确定方向:在第N帧图像中找到目标轮廓并求得其形心在图像中的坐标设为On(xn,yn),则可知最佳的运动方向为向量角度为其中O0(x0,y0)为图像中心坐标,若θ∈[-22.5°,22.5°],则Vn={正左};若θ∈[22.5°,67.5°],则Vn={左上};若θ∈[67.5°,112.5°],则Vn={正上};若θ∈[112.5°,157.5°],则Vn={右上};若θ∈[157.5°,180°]∪[-180°,-157.5°],则Vn={正右};若θ∈[-157.5°,-112.5°],则Vn={右下};若θ∈[-112.5°,-67.5°],则Vn={正下};若θ∈[-67.5°,-22.5°],则Vn={右下},并计算目标轮廓面积,存储到Area(Vn,N)中;
③因所设运动方向为固定的8个,而实际目标并不一定完全在该方向上,需实时调整运动方向使执行机构尽快靠近目标,设图像的帧频为F,可以根据执行机构的实际运动速度设定一个较短的时间间隔Δt,则在Δt时间内播放的帧数为F×Δt,假设当前为对靶运动开始,此时Area(Vn,N)中存储的为对靶运动开始时的目标轮廓面积,执行机构开始沿Vn方向运动并在读取每一帧时将变量k自增1,当到达Δt时刻时,设此时的累计帧数为Km,则有,先将变量k归零,然后读取当前摄像头拍摄的图像提取目标轮廓并统计其面积记为从Area(Vn,N)中提取对靶运动开始时存入的运动方向记为Vn;提取出对靶运动开始时存入的面积记为若则表示正在接近目标轮廓,不必改变运动方向,即Vm=Vn,并将其面积存储到Area(Vm,Km)中,执行机构继续沿该方向运动,否则,则说明此时的运动已远离目标轮廓,此时需重复步骤②重新确定对靶方向Vn,然后重复步骤③,直至喷药头的喷药区域内出现喷药目标,一次对靶运动结束,可以开始喷药。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510063930.6A CN104615059B (zh) | 2015-02-09 | 2015-02-09 | 一种美国白蛾幼虫网幕喷药机器人控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510063930.6A CN104615059B (zh) | 2015-02-09 | 2015-02-09 | 一种美国白蛾幼虫网幕喷药机器人控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104615059A CN104615059A (zh) | 2015-05-13 |
CN104615059B true CN104615059B (zh) | 2017-03-22 |
Family
ID=53149561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510063930.6A Active CN104615059B (zh) | 2015-02-09 | 2015-02-09 | 一种美国白蛾幼虫网幕喷药机器人控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104615059B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105700401A (zh) * | 2016-02-01 | 2016-06-22 | 广州君合智能装备技术有限公司 | 一种智能工控机 |
CA3035225A1 (en) * | 2019-02-28 | 2020-08-28 | Daniel Mccann | System and method for field treatment and monitoring |
CN114868714B (zh) * | 2022-04-21 | 2023-07-04 | 河南引尚建筑工程有限公司 | 一种林业病虫害监测系统 |
CN115228317B (zh) * | 2022-07-05 | 2024-04-26 | 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) | 一种烤烟种植用的肥药制备装置及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101947503A (zh) * | 2010-07-28 | 2011-01-19 | 中国农业大学 | 温室对靶施药机器人系统 |
CN102428904A (zh) * | 2011-09-20 | 2012-05-02 | 上海交通大学 | 除草机器人自动对靶变量喷雾流量控制系统 |
CN103891697A (zh) * | 2014-03-28 | 2014-07-02 | 南通职业大学 | 一种室内自主移动喷药机器人及其变量喷药方法 |
CN204374710U (zh) * | 2015-02-09 | 2015-06-03 | 聊城大学 | 一种美国白蛾幼虫网幕喷药机器人控制系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4699864B2 (ja) * | 2005-10-28 | 2011-06-15 | 株式会社丸山製作所 | ブームスプレーヤ |
-
2015
- 2015-02-09 CN CN201510063930.6A patent/CN104615059B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101947503A (zh) * | 2010-07-28 | 2011-01-19 | 中国农业大学 | 温室对靶施药机器人系统 |
CN102428904A (zh) * | 2011-09-20 | 2012-05-02 | 上海交通大学 | 除草机器人自动对靶变量喷雾流量控制系统 |
CN103891697A (zh) * | 2014-03-28 | 2014-07-02 | 南通职业大学 | 一种室内自主移动喷药机器人及其变量喷药方法 |
CN204374710U (zh) * | 2015-02-09 | 2015-06-03 | 聊城大学 | 一种美国白蛾幼虫网幕喷药机器人控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104615059A (zh) | 2015-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104615059B (zh) | 一种美国白蛾幼虫网幕喷药机器人控制系统 | |
CN108387262A (zh) | 一种基于悬挂式滑轨平台的温室信息自动监测方法 | |
CN107711079A (zh) | 草莓采摘机器人及草莓采摘方法 | |
US10448578B2 (en) | Selective automated blossom thinning | |
JP3660492B2 (ja) | 物体検知装置 | |
Raja et al. | Real-time robotic weed knife control system for tomato and lettuce based on geometric appearance of plant labels | |
CN102017938A (zh) | 一种温室悬挂式自走对靶喷雾机系统及其操作方法 | |
CN108271531B (zh) | 基于视觉识别定位的水果自动化采摘方法及装置 | |
AU2022256171B2 (en) | Weeding robot and method, apparatus for planning weeding path for the same and medium | |
CN103999635A (zh) | 基于机器视觉的智能化自动切割式采茶机及工作方法 | |
CN104604833B (zh) | 一种美国白蛾幼虫网幕喷药机器人机械系统 | |
US20230026679A1 (en) | Mobile sensing system for crop monitoring | |
CN108811766A (zh) | 一种人机交互式温室果蔬采收机器人系统及其采收方法 | |
CN104731097B (zh) | 一种美国白蛾幼虫网幕喷药机器人局部运动控制方法 | |
JP2000092952A (ja) | 果実管理収穫用ロボット | |
CN113396650B (zh) | 一种智能蔬菜株间除草装置及控制方法 | |
CN113749078B (zh) | 一种多路喷头独立控制方法及系统 | |
Zeng et al. | Deep reinforcement learning for next-best-view planning in agricultural applications | |
JP2020520239A (ja) | 高速での雑草防除 | |
Almendral et al. | Autonomous fruit harvester with machine vision | |
JP2006101816A (ja) | 操向制御方法及び装置 | |
US11343967B1 (en) | Robotic automation of mechanical field harvesting of broccoli plants | |
CN110501350A (zh) | 一种农作物病变监测装置 | |
CN116686545A (zh) | 基于机器视觉控制的荔枝采摘机器人除遮方法 | |
Berenstein | The use of agricultural robots in crop spraying/fertilizer applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20150513 Assignee: Shandong JOYOU Aviation Technology Development Co., Ltd. Assignor: Liaocheng University Contract record no.: 2017370000091 Denomination of invention: Control system of spraying robot for hyphantria cunea larva net curtain Granted publication date: 20170322 License type: Exclusive License Record date: 20171229 |