CN104731097A - 一种美国白蛾幼虫网幕喷药机器人局部运动控制方法 - Google Patents

Abstract

本发明提供一种美国白蛾幼虫网幕喷药机器人局部运动控制方法，包括如下步骤：(1)设计喷药机器人的总体运动策略和局部运动路径，喷药机器人按照设定的路径运行并实时采集对应树木目标的图像；(2)根据图像特征提取美国白蛾幼虫网幕目标，并估算网幕目标与执行机构间的相对距离L，并确定距离执行机构L处的图像平面面积S和喷药覆盖面面积S′；(3)令μ＝S′/S，S为图像平面面积，S′为喷药覆盖面面积，当μ>0.5时，执行简单的扫描控制策略，当μ<＝0.5时，执行扫描、对靶、喷药三种运动的复杂策略，最终确定最优喷药位置。

Description

一种美国白蛾幼虫网幕喷药机器人局部运动控制方法

技术领域

本发明涉及智能喷药机器人视觉控制领域，具体地讲，涉及一种美国白蛾幼虫网幕喷药机器人局部运动控制方法。

背景技术

美国白蛾是一种世界性检疫害虫，繁殖能力强，危害树种广，在我国北方一般一年发生3代，每代分幼虫、蛹、成虫三个时期。幼虫期危害树木最为严重，孵化几个小时即吐丝结网附于叶片上，取食叶肉，整个幼虫期间取食量极大，造成植物长势衰弱，抗逆力低，甚至整株死亡。幼虫网幕较明显，是实施防治的最佳时机。目前常采用人工摘除网幕和化学药剂大规模喷施的防治方法，但这些方法简单粗放污染重，基于机器视觉的智能精密对靶施药是解决这一问题的方法之一。

目前使用的喷药控制策略大都基于某种空间转换模型对机械臂的参数进行精准控制，该方法虽然精度高但计算量大、喷药效率低、易受干扰，对于美国白蛾幼虫网幕这种发生期短的大规模野外作业不适用。

发明内容：

本发明要解决的技术问题是提供一种美国白蛾幼虫网幕喷药机器人局部运动控制方法，可以快速确定最优喷药位置，既减少了喷药量又可以实现快速喷药，达到良好的灭虫效果。

本发明采用如下技术方案实现发明目的：

一种美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：包括如下步骤：

(1)设计喷药机器人的局部运动路径，喷药机器人按照设定的路径运行并实时采集对应树木目标的图像；

(2)根据图像特征提取美国白蛾幼虫网幕目标，并估算网幕目标与机器人的手眼执行机构间的相对距离L，并确定距离执行机构L处的物体的图像平面面积S和喷药覆盖面面积S′；

(3)令μ＝S′/S，S为图像平面面积，S′为喷药覆盖面面积，当μ>0.5时，执行简单的扫描控制策略，当μ<＝0.5时，执行扫描、对靶、喷药三种运动的复杂策略，最终确定最优喷药位置。

作为对本技术方案的进一步限定，所述步骤(2)根据图像特征提取美国白蛾幼虫网幕目标包括如下步骤：

(2.1)对视频图像进行稳像处理以便获得稳定的单帧图像；

(2.2)根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间，分析网幕、叶片和树枝的各通道数据的差值，采用R-B色差模型并结合最大类间方差法和阈值算法，分割网幕图像，使用Freeman编码算法和区域标记计算出每一区域的面积，使用多个面积的平均值和标准方差确定面积双阈值，进行残余噪声去除，最后使用改进的膨胀腐蚀法进行图像补偿，最终图像中的目标区域表现为大片连续的白色区域。

作为对本技术方案的进一步限定，所述步骤(3)的简单的扫描控制策略包括如下步骤：

(1)确定喷药机器人局部运动轨迹，每个扫描行之间的距离h公式如下：

h＝0.8*b*δ，其中，δ为距离执行机构L处的二维垂直立面A上的物体与其图像中的成像大小的对应比例关系，b是图像中的喷药覆盖范围的内接正四边形的边长；

(2)最佳喷药位置的确定：相机向右平移时，设变量Left、Down初值为零，用来标记输入图像Q中喷药区域M范围内的左侧、下侧边缘区域是否有未喷药的目标，输入图像Q为从视频流中获取的静态单帧图像，为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，首先在手眼执行机构运动过程中使用上述单帧图像处理方法实时检测图像中是否有目标区域，设喷药区域M经检测其中有目标区域，检测M中敏感区域中是否有白色目标，若左侧敏感区域中有，则将Left置为true，若下侧敏感区域中有,则将Down置为true，若Left和Down有一者为true，则表示进入最佳喷药位置，否则不需喷药；

(3)重复步骤(2)，直到满足扫描终止条件，即相机位于可运动区域最左端或最右端，且距离可运动区域最上端不足扫描行之间的距离h，即不足以进行下一行扫描。

作为对本技术方案的进一步限定，所述步骤(3)的复杂的扫描控制策略包括如下步骤：

(1)扫描主运动的确定：h＝0.8*d*δ，其中，δ为立面A上的物体与其图像中的成像大小的对应比例关系，d是成像图像的高度；

(2)执行对靶运动喷药运动的条件：当相机向右运动即图像相左时的判断条件，设变量Left、Down初值为零，用来标记输入图像Q中的左侧，下侧边缘区域是否有未喷药的目标，输入图像Q为从视频流中获取的静态单帧图像，为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，首先在手眼执行机构运动过程中使用上述单帧图像处理方法实时检测图像Q中是否有目标区域，假设输入图像为Q经检测其中有目标区域，检测Q中敏感区域中是否有白色目标，若左侧敏感区域中有，则将Left置为true，若下侧敏感区域c中有,则将Down置为true，若Left和Down有一者为true，则需进行喷药处理；

(3)按照轮廓优先次序依次对图像Q内存在的所有目标执行对靶运动：图像Q面积较大时，存在多个需喷药目标，此时需对图像Q内存在的所有目标进行喷药优先级判断，进而确定是否进入最佳喷药位置，这里使用轮廓的重心来标识轮廓位置及重要性，重心的确定方法如下：

$\left\{\begin{array}{c}\stackrel{\&OverBar;}{x}=\frac{\underset{A}{\mathrm{\&Sigma;}}(x\&times;\mathrm{\&rho;}(x,y))}{A}\\ \stackrel{\&OverBar;}{y}=\frac{\underset{A}{\mathrm{\&Sigma;}}(y\&times;\mathrm{\&rho;}(x,y))}{A}\end{array}\right.---\left(1\right)$

其中指的是重心的坐标；A指的是轮廓区域的面积；

ρ(x,y)指的是加权值表征虫害程度，可用生长素探测经试验获得，设某一轮廓j的重心到图像Q中心距离为L_j，面积为A_j，记权重G(j)＝L_j×A_j，按照权重的大小确定轮廓处理的先后顺序，先后顺序确定后，将第一个要处理的轮廓标记为正在处理，然后将当前的摄像机所在坐标及当前图像压入堆栈即将当前工作状态先保存，之后经对靶运动将摄像头和喷药头对准到第一个轮廓上，从边缘开始喷药同时将已喷药区域的相机坐标标记为已喷，完毕后以直线返回保存在堆栈中的摄像机所在坐标，读取保存的图像即回复工作状态并将第一个轮廓标记为已处理，而后用相同方法处理其余轮廓直到全部处理完毕，手眼执行机构继续扫描运动；

(4)重复步骤(2)和(3)，直到满足扫描终止条件，即相机位于可运动区域最左端或最右端，且距离可运动区域最上端不足h，即不足以进行下一行扫描。

作为对本技术方案的进一步限定，所述步骤(3)的对对靶运动是指执行机构由当前位置运动到目标轮廓所在区域的运动，并且为了便于控制，执行机构只能向8个方向运动，即上、下、左、右、左上、左下、右上、右下，对靶运动具体实施方法如下：

①对靶运动初始化：设一枚举类型Direction＝{正左,左上,正上,右上,正右,右下,正下,左下}用来表示速度向量即运动方向，设一个Direction类型变量V并将当前相机运动方向V0设初始值为正左，设一变量k用来累计某一时间间隔内的帧数，初始值为零，最后从内存中开辟一个二维动态数组用来存储目标轮廓的面积值记为Area(v,k)，其中v是Direction类型表示运动方向，k表示当前累计的帧数，Area(v,k)表示执行机构沿v方向运动累计帧数为k时，摄像机在当前位置拍摄的图像中该目标轮廓的面积，k的初始值为0；

②确定方向：在第N帧图像中找到目标轮廓并求得其形心在图像中的坐标设为O_n(x_n,y_n)，则可知最佳的运动方向为向量角度为其中O₀(x₀,y₀)为图像中心坐标，若θ∈[-22.5°,22.5°]，则V_n＝{正左}；若θ∈[22.5°,67.5°]，则V_n＝{左上}；若θ∈[67.5°,112.5°]，则V_n＝{正上}；若θ∈[112.5°,157.5°]，则V_n＝{右上}；若θ∈[157.5°,180°]∈[-180°,-157.5°]，则V_n＝{正右}；若θ∈[-157.5°,-112.5°]，则V_n＝{右下}；若θ∈[-112.5°,-67.5°]，则V_n＝{正下}；若θ∈[-67.5°,-22.5°]，则V_n＝{右下}，并计算目标轮廓面积，存储到Area(V_n,N)中；

③因所设运动方向为固定的8个，而实际目标并不一定完全在该方向上，需实时调整运动方向使执行机构尽快靠近目标，设图像的帧频为F，可以根据执行机构的实际运动速度设定一个较短的时间间隔Δt，则在Δt时间内播放的帧数为F×Δt，假设当前为对靶运动开始，此时Area(V_n,N)中存储的为对靶运动开始时的目标轮廓面积，执行机构开始沿V_n方向运动并在读取每一帧时将变量k自增1，当到达Δt时刻时，设此时的累计帧数为K_m，则有，先将变量k归零，然后读取当前摄像头拍摄的图像使用步骤(2.2)中所述方法提取目标轮廓并统计其面积记为从Area(V_n,N)中提取对靶运动开始时存入的运动方向记为V_n；提取出对靶运动开始时存入的面积记为若则表示正在接近目标轮廓，不必改变运动方向，即V_m＝V_n，并将其面积存储到Area(V_m,K_m)中，执行机构继续沿该方向运动，否则，则说明此时的运动已远离目标轮廓，此时需重复步骤②重新确定对靶方向V_n，然后重复步骤③，直至喷药头的喷药区域内出现喷药目标，一次对靶运动结束，可以开始喷药。

与现有技术相比，本发明的优点和积极效果是：本发明根据喷药对象的实际生长情况将局部工作面假设为与枝叶立体面平行，取最近枝叶所在面为特定立面，并设定喷药运动为竖直平面内的二维运动，不仅简化了喷药过程，同时摆脱了获取精准的深度信息难度大的制约；根据美国白蛾幼虫网幕形状不规则的前提，提出了基于边界敏感区域的界定方法，以区域代替边缘或形状等参数来判定是否需要喷药，提高了算法的安全性，同时对于视野中有多个未喷药目标时提出了一种根据目标的权重确定轮廓处理的先后顺序的方法，并设定8个运动方向对目标进行对靶，提高了处理效率并降低了过喷率。

附图说明

图1为机器人视觉系统整体工作模式示意图。

图2为机器人执行机构局部运动控制策略流程图。

图3机器人执行机构局部运动轨迹。

图4为手眼执行机构中摄像头与喷药头喷药覆盖面关系示意图。

图5为使用边界界定法对情况1时的简单的扫描控制策略示意图。

图6为使用边界界定法对情况2时的判定方法示意图。

图7为喷药运动可能出现情况图。

图8为情况2时对靶运动过程流程图。

图9为本发明的手眼执行机构的结构示意图。

图10为本发明实施例的上下移动组件结构示意图。

图11为本发明实施例的左右移动组件结构示意图。

图中，1-机架；2-上下移动机构；3-左右移动机构；4-控制装置；5-滚轮；9-喷雾机；10-左支撑座；11-左滑轨；12-右支撑座；13-右滑轨；14-左光轴支撑块；15-左光轴支撑座；16-右光轴支撑块；17-右光轴支撑座；18-转动光轴；19-左齿轮；20-右齿轮；21-左步进电机；22-右步进电机；23-左转动圈；24-右转动圈；25-左转动皮带；26-左传动皮带；27-右转动皮带；28-右传动皮带；29-左滑块；30-右滑块；31-支撑架；32-喷头支撑座；33-摄像头支撑架；34-横转动圈；35–横向步进电机；36-摄像头；37-横向皮带；38-喷药头；39-IPC工控机；40-横向滑轨：41-横向滑块，42-升降装置，43-喷药装置运动轨迹，D₁—喷药覆盖面直径；D₂—摄像头视野直径；L—执行机构到特定竖直面的距离。

具体实施方式:

下面结合实施例，进一步说明本发明。

参见图1-图11，美国白蛾幼虫网幕的分布极其复杂，给处理造成极大困难，为提高系统的效率和精度，本研究设定了一些工作前提条件：

(1)手眼执行机构的主运动为竖直平面内的二维运动。因喷药对象往往植株巨大，而喷头的喷射角有一个立体的覆盖范围，只要在这一范围中就可以被喷到，过于精细的三维空间运动会造成运动冗余使处理效率低下，因此本研究采用了二维运动模式，并且为了取得较好的视频防抖效果，摄像头的运动尽量保持水平或垂直的匀速运动。

(2)摄像头与植株间的相对距离保持不变，摄像头坐标系三坐标轴与大地坐标系平行。

(3)喷药系统在小车驱动下沿植株的运动轨迹为圆周，并在圆周的定点位置实施喷药。喷药时，升降装置根据植株具体高度首先升高到一定位置，然后手眼执行机构在喷药支架上做局部的直线运动，覆盖一定的树冠面积，并且通过升降装置的进一步升高，使喷药范围覆盖到树顶。

因美国白蛾一般危害阔叶树，喷药对象往往植株巨大，设计机器人视觉系统整体工作模式为：设计摄像头安装在喷头的正上方组成手眼执行机构，机构在导轨支撑和电机引导下在喷药支架上做空间二维运动，整个喷药装置在升降小车驱动下沿植株做圆周运动，并根据需要在圆周的定点位置实施喷药。喷药时，升降装置根据植株具体高度首先升高到一定位置，然后手眼执行机构在喷药支架上做竖直平面内的二维运动，覆盖一定的树冠面积，通过升降装置的进一步升高，使喷药范围在该方向上覆盖到树顶，喷药装置与植株位置关系如图1所示。

定点位置时手眼执行机构在喷药支架上做的局部二维运动为本方法的主要设计对象，在运动过程中采用边识别边喷药的模式，机器人局部运动轨迹由算法根据喷药目标的位置决定，机器人局部运动控制策略流程图如图2所示，手眼执行机构局部运动轨迹如图3所示。

手眼执行机构包括机架1和滚轮5，所述机架1的前侧设置有上下移动机构和左右移动机构，所述左右移动机构上设置有能够沿所述左右移动机构移动的喷药头，所述喷头的上端固定有摄像头36，所述摄像头36和喷药头38均连接控制装置，滚轮5包括左前轮、左后轮、右前轮和右后轮。

所述控制装置设置包括喷雾机9和IPC工控机39，所述IPC工控机39通过继电器模块连接所述喷药头38。

所述上下移动机构包括对称的左支撑座10和右支撑座12，所述左支撑座10和右支撑座12安装在所述机架1上，所述左支撑座10和右支撑座12的下端分别对应设置有左转动圈23和右转动圈24，所述左支撑座10和右支撑座12的前侧分别对应设置有左滑轨11和右滑轨13，所述左滑轨11和右滑轨13上分别对应设置左滑块29和右滑块30，所述左支撑座10和右支撑座12的上端分别对应设置有左光轴支撑块14和右光轴支撑块16，所述左光轴支撑块14和右光轴支撑块16的前端分别对应设置有左光轴支撑座15和右光轴支撑座17，所述左光轴支撑座15和右光轴支撑座17之间设置有转动光轴18，所述转动光轴18的两端分别设置有左齿轮19和右齿轮20，所述左齿轮19通过左转动皮带25连接左步进电机21，同时，所述左齿轮19通过左传动皮带26连接所述左转动圈23，所述右齿轮20通过右转动皮带27连接右步进电机22，同时，所述右齿轮20通过右传动皮带28连接所述右转动圈24。

左步进电机21和右步进电机22，通过皮带轮带动左转动带25和右转动带27转动，并由此带动齿轮旋转使转动光轴转动，进而带动左传动带26和右传动带28转动，进而带动左滑块29和右滑块30在左滑轨11和右滑轨13上上、下移动，该设计保证了运动的可靠性。

所述左右移动机构包括安装在所述左滑块和右滑块上的支撑架31，所述支撑架31上设置有横向滑轨40，所述横向滑轨40上设置有与其配合的横向滑块41，所述横向滑块41上设置有喷雾支撑座32，所述喷雾支撑座32过盈配合所述喷药头38，所述喷雾支撑座32的上端设置有摄像头支撑架33，所述摄像头支撑架33上安装所述摄像头36，所述支撑架31的一端设置有横向步进电机35，另一端设置有横向转动圈34，所述横向步进电机35的输出轴通过横向皮带37与所述横向转动圈34套接。横向步进电机35通过带动横向转动带37转动，进而带动摄像头支撑座32移动，进而采集图像。

在机器人局部运动过程中，确定合适的喷药位置是本发明的关键。首先将摄像头略下偏，光轴与喷药覆盖面的主轴有一个重合点(具体偏转角度应由试验确定)，这时在某一特点距离点处，图像平面和喷药覆盖面的面积可以确定。本实例采用了与喷药装置最近的一个枝叶所在的立面(用立面A表示)与喷药装置之间的距离作为估计距离L，此时图像平面面积为S，喷药覆盖面面积为S′。手眼执行机构中摄像头与喷头喷药覆盖面关系示意图如图4所示。

针对不同喷药对象，根据喷药压力、当时风速、病虫害严重情况等，喷头的张角应实时做出调整，这样就会使得喷药覆盖面面积S′与图像平面面积S之间的关系发生变化，令μ＝S′/S，研究针对μ>0.5(情况1)和μ<＝0.5(情况2)两种情况进行不同的处理。

两种情况之下，均应首先进行单帧图像的图像处理：根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间，分析网幕、叶片和树枝的各通道数据的差值，采用R-B色差模型并结合最大类间方差法和阈值算法，分割网幕图像。使用Freeman编码算法和区域标记计算出每一区域的面积，使用多个面积的平均值和标准方差确定面积双阈值，进行残余噪声去除，最后使用改进的膨胀腐蚀法进行图像补偿，最终图像中的目标表现为连续的白色区域。本发明使用了发明人已公开发表的《美国白蛾幼虫网幕图像处理算法》(农业机械学报2013年第9期)中所述方法进行处理，可以提取出图像中所有可疑的网幕目标区域。在此不再赘述。

针对情况1，最佳喷药位置确定方法如下：

(1)确定机器人局部运动轨迹，示意图如图3。其中h表示每个扫描行之间的距离，由喷药覆盖范围的内接正四边形的边长b决定，为避免漏喷设置一定重合度，h＝0.8*b*δ(δ为立面A上的物体与其图像中的成像大小的对应比例关系，其值由试验确定)。

(2)最佳喷药位置的确定：相机向右平移时，设变量Left、Down初值为零，用来标记输入图像Q中喷药区域M范围内的左侧、下侧边缘区域是否有未喷药的目标，为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，首先在手眼执行机构运动过程中使用上述单帧图像处理方法实时检测图像中是否有目标区域，设喷药区域M中经检测其中有目标区域，检测M中敏感区域中是否有白色目标，若左侧敏感区域中有，则将Left置为true，若下侧敏感区域中有,则将Down置为true，若Left和Down有一者为true，则表示进入最佳喷药位置，否则不需喷药，判断方法示意图如图5所示。

(3)扫描终止条件：相机位于可运动区域最左端或最右端，且距离可运动区域最上端不足h，即不足以进行下一行扫描。

针对情况2，最佳喷药位置确定方法如下：

(1)扫描主运动的确定：h＝0.8*d*δ，其中，δ为立面A上的物体与其图像中的成像大小的对应比例关系，d为图像的高度。

(2)执行对靶运动喷药运动的条件：因向左运动与向右运动的处理方式是对称的，因此这里仅介绍相机相右运动即图像相左时的判断条件。设变量Left、Down初值为零，用来标记输入图像Q的左侧，下侧边缘区域是否有未喷药的目标，为避免了漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，若敏感区域中有网幕目标，则设变量为true。若Left,Down有一者为true，则需进行下一步处理(如图6所示)，否则执行机构继续运动重复过程(2)。

(3)按照轮廓优先次序依次对视野内存在的所有目标执行对靶运动：情况2时，输入图像Q面积较大，其中可能存在多个需喷药目标，此时需对图像Q内存在的所有目标进行喷药优先级判断，进而确定是否进入最佳喷药位置。这里使用轮廓的重心来标识轮廓位置及重要性。重心的确定方法如下：

$\left\{\begin{array}{c}\stackrel{\&OverBar;}{x}=\frac{\underset{A}{\mathrm{\&Sigma;}}(x\&times;\mathrm{\&rho;}(x,y))}{A}\\ \stackrel{\&OverBar;}{y}=\frac{\underset{A}{\mathrm{\&Sigma;}}(y\&times;\mathrm{\&rho;}(x,y))}{A}\end{array}\right.---\left(1\right)$

其中指的是重心的坐标；A指的是轮廓区域的面积；

ρ(x,y)指的是加权值表征虫害程度，可用生长素探测经试验获得。设某一轮廓j的重心到图像Q中心距离为L_j，面积为A_j，记权重G(j)＝L_j×A_j，按照权重的大小确定轮廓处理的先后顺序。先后顺序确定后，将第一个要处理的轮廓标记为正在处理，然后将当前的摄像机所在坐标和当前图像压入堆栈即将当前工作状态先保存。之后经对靶运动将摄像头和喷药头对准到第一个轮廓上，从边缘开始喷药同时将已喷药区域的相机坐标标记为已喷，完毕后以直线返回保存在堆栈中的摄像机所在坐标，读取保存的图像即回复工作状态并将第一个轮廓标记为已处理。而后用相同方法处理其余轮廓直到全部处理完毕。喷药机构继续扫描运动。

(4)上述方法中所谓对靶运动是指执行机构由当前位置运动到目标轮廓所在区域的运动。并且为了便于控制，执行机构只能向8个方向运动，即上、下、左、右、左上、左下、右上、右下。对靶运动具体实施方法如下：

①对靶运动初始化：设一枚举类型Direction＝{正左,左上,正上,右上,正右,右下,正下,左下}用来表示速度向量即运动方向，设一个Direction类型变量V并将当前相机运动方向V₀设初始值为正左，设一变量k用来累计某一时间间隔内的帧数，初始值为零，最后从内存中开辟一个二维动态数组用来存储目标轮廓的面积值记为Area(v,k)，其中v是Direction类型表示运动方向，k表示当前累计的帧数，Area(v,k)表示执行机构沿v方向运动累计帧数为k时，摄像机在当前位置拍摄的图像中该目标轮廓的面积，k的初始值为0；

②确定方向：在第N帧图像中找到目标轮廓并求得其形心在图像中的坐标设为O_n(x_n,y_n)，则可知最佳的运动方向为向量角度为其中O₀(x₀,y₀)为图像中心坐标，若θ∈[-22.5°,22.5°]，则V_n＝{正左}；若θ∈[22.5°,67.5°]，则V_n＝{左上}；若θ∈[67.5°,112.5°]，则V_n＝{正上}；若θ∈[112.5°,157.5°]，则V_n＝{右上}；若θ∈[157.5°,180°]∈[-180°,-157.5°]，则V_n＝{正右}；若θ∈[-157.5°,-112.5°]，则V_n＝{右下}；若θ∈[-112.5°,-67.5°]，则V_n＝{正下}；若θ∈[-67.5°,-22.5°]，则V_n＝{右下}，并计算目标轮廓面积，存储到Area(V_n,N)中；

③因所设运动方向为固定的8个，而实际目标并不一定完全在该方向上，需实时调整运动方向使执行机构尽快靠近目标，设图像的帧频为F，可以根据执行机构的实际运动速度设定一个较短的时间间隔Δt，则在Δt时间内播放的帧数为F×Δt，假设当前为对靶运动开始，此时Area(V_n,N)中存储的为对靶运动开始时的目标轮廓面积，执行机构开始沿V_n方向运动并在读取每一帧时将变量k自增1，当到达Δt时刻时，设此时的累计帧数为K_m，则有，先将变量k归零，然后读取当前摄像头拍摄的图像使用步骤(2.2)中所述方法提取目标轮廓并统计其面积记为从Area(V_n,N)中提取对靶运动开始时存入的运动方向记为V_n；提取出对靶运动开始时存入的面积记为若则表示正在接近目标轮廓，不必改变运动方向，即V_m＝V_n，并将其面积存储到Area(V_m,K_m)中，执行机构继续沿该方向运动，否则，则说明此时的运动已远离目标轮廓，此时需重复步骤②重新确定对靶方向V_n，然后重复步骤③，直至图6中喷药区域内出现喷药目标，一次对靶运动结束，可以开始喷药。

(5)当实际的网幕目标面积远大于喷药覆盖面时，需对喷药运动进行设计。对靶运动结束后网幕目标的边缘已进入喷药模板，读取堆栈中保存的原始图像，截取本次喷药目标的部分，命名为T，执行机构沿水平方向开始喷药，运动方向取决于T的形状，将已喷完的区域的像素值变为0。此时图像T可能被分割为两个或多个区域，按照临近原则依次对剩余区域进行水平喷药。若图像T中依然只有一个轮廓，那么说明喷药所在的点为喷药目标区域的正上方或正下方，此时将喷药头向喷药目标区域所在一侧移动一个宽度，继续水平喷药。最终图像T中图像像素均为零时，表示所有可喷药区域都已经喷完，喷药运动结束。图像T可能被分割的情况如图7所示。

(6)重复步骤(2)-(5)，直至相机位于可运动区域最左端或最右端，且距离可运动区域最上端不足h，即不足以进行下一行扫描。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：包括如下步骤：

(1)设计喷药机器人的局部运动路径，喷药机器人按照设定的路径运行并实时采集对应树木目标的图像；

(2)根据图像特征提取美国白蛾幼虫网幕目标，并估算网幕目标与机器人的手眼执行机构间的相对距离L，并确定距离执行机构L处的物体的图像平面面积S和喷药覆盖面面积S′；

(3)令μ＝S′/S，S为图像平面面积，S′为喷药覆盖面面积，当μ>0.5时，执行简单的扫描控制策略，当μ<＝0.5时，执行扫描、对靶、喷药三种运动的复杂策略，最终确定最优喷药位置。

2.根据权利要求1所述的美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：所述步骤(2)根据图像特征提取美国白蛾幼虫网幕目标包括如下步骤：

(2.1)对视频图像进行稳像处理以便获得稳定的单帧图像；

(2.2)根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间，分析网幕、叶片和树枝的各通道数据的差值，采用R-B色差模型并结合最大类间方差法和阈值算法，分割网幕图像，使用Freeman编码算法和区域标记计算出每一区域的面积，使用多个面积的平均值和标准方差确定面积双阈值，进行残余噪声去除，最后使用改进的膨胀腐蚀法进行图像补偿，最终图像中的目标区域表现为大片连续的白色区域。

3.根据权利要求2所述的美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：所述步骤(3)的简单的扫描控制策略包括如下步骤：

(1)确定喷药机器人局部运动轨迹，每个扫描行之间的距离h公式如下：

h＝0.8*b*δ，其中，δ为距离执行机构L处的二维垂直立面A上的物体与其图像中的成像大小的对应比例关系，b是图像中的喷药覆盖范围的内接正四边形的边长；

(2)最佳喷药位置的确定：相机向右平移时，设变量Left、Down初值为零，用来标记输入图像Q中喷药区域M范围内的左侧、下侧边缘区域是否有未喷药的目标，输入图像Q为从视频流中获取的静态单帧图像，为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，首先在手眼执行机构运动过程中使用上述单帧图像处理方法实时检测图像中是否有目标区域，设喷药区域M经检测其中有目标区域，检测M中敏感区域中是否有白色目标，若左侧敏感区域中有，则将Left置为true，若下侧敏感区域中有,则将Down置为true，若Left和Down有一者为true，则表示进入最佳喷药位置，否则不需喷药；

(3)重复步骤(2)，直到满足扫描终止条件，即相机位于可运动区域最左端或最右端，且距离可运动区域最上端不足扫描行之间的距离h，即不足以进行下一行扫描。

4.根据权利要求3所述的美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：所述步骤(3)的复杂的扫描控制策略包括如下步骤：

(1)扫描主运动的确定：h＝0.8*d*δ，其中，δ为立面A上的物体与其图像中的成像大小的对应比例关系，d是成像图像的高度；

(2)执行对靶运动喷药运动的条件：当相机向右运动即图像相左时的判断条件，设变量Left、Down初值为零，用来标记输入图像Q中的左侧，下侧边缘区域是否有未喷药的目标，输入图像Q为从视频流中获取的静态单帧图像，为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，首先在手眼执行机构运动过程中使用上述单帧图像处理方法实时检测图像Q中是否有目标区域，假设输入图像为Q经检测其中有目标区域，检测Q中敏感区域中是否有白色目标，若左侧敏感区域中有，则将Left置为true，若下侧敏感区域c中有,则将Down置为true，若Left和Down有一者为true，则需进行喷药处理；

(3)按照轮廓优先次序依次对图像Q内存在的所有目标执行对靶运动：图像Q面积较大时，如果存在多个需喷药目标，此时需对图像Q内存在的所有目标进行喷药优先级判断，进而确定是否进入最佳喷药位置，这里使用轮廓的重心来标识轮廓位置及重要性，重心的确定方法如下：

$\left\{\begin{array}{c}\stackrel{\&OverBar;}{x}=\frac{\underset{A}{\mathrm{\&Sigma;}}(x\&times;\mathrm{\&rho;}(x,y))}{A}\\ \stackrel{\&OverBar;}{y}=\frac{\underset{A}{\mathrm{\&Sigma;}}(y\&times;\mathrm{\&rho;}(x,y))}{A}\end{array}\right.---\left(1\right)$

其中指的是重心的坐标；A指的是轮廓区域的面积；

ρ(x,y)指的是加权值表征虫害程度，可用生长素探测经试验获得，设某一轮廓j的重心到图像Q中心距离为L_j，面积为A_j，记权重G(j)＝L_j×A_j，按照权重的大小确定轮廓处理的先后顺序，先后顺序确定后，将第一个要处理的轮廓标记为正在处理，然后将当前的摄像机所在坐标及当前图像压入堆栈即将当前工作状态先保存，之后经对靶运动将摄像头和喷药头对准到第一个轮廓上，从边缘开始喷药同时将已喷药区域的相机坐标标记为已喷，完毕后以直线返回保存在堆栈中的摄像机所在坐标，读取保存的图像即回复工作状态并将第一个轮廓标记为已处理，而后用相同方法处理其余轮廓直到全部处理完毕，手眼执行机构继续扫描运动；

(4)重复步骤(2)和(3)，直到满足扫描终止条件，即相机位于可运动区域最左端或最右端，且距离可运动区域最上端不足h，即不足以进行下一行扫描。

5.根据权利要求4所述的美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：所述步骤(3)的对对靶运动是指执行机构由当前位置运动到目标轮廓所在区域的运动，并且为了便于控制，执行机构只能向8个方向运动，即上、下、左、右、左上、左下、右上、右下，对靶运动具体实施方法如下：

①对靶运动初始化：设一枚举类型Direction＝{正左,左上,正上,右上,正右,右下,正下,左下}用来表示速度向量即运动方向，设一个Direction类型变量V并将当前相机运动方向V₀设初始值为正左，设一变量k用来累计某一时间间隔内的帧数，初始值为零，最后从内存中开辟一个二维动态数组用来存储目标轮廓的面积值记为Area(v,k)，其中v是Direction类型表示运动方向，k表示当前累计的帧数，Area(v,k)表示执行机构沿v方向运动累计帧数为k时，摄像机在当前位置拍摄的图像中该目标轮廓的面积，k的初始值为0；

②确定方向：在第N帧图像中找到目标轮廓并求得其形心在图像中的坐标设为O_n(x_n,y_n)，则可知最佳的运动方向为向量角度为其中O₀(x₀,y₀)为图像中心坐标，若θ∈[-22.5°,22.5°]，则V_n＝{正左}；若θ∈[22.5°,67.5°]，则V_n＝{左上}；若θ∈[67.5°,112.5°]，则V_n＝{正上}；若θ∈[112.5°,157.5°]，则V_n＝{右上}；若θ∈[157.5°,180°]∪[-180°,-157.5°]，则V_n＝{正右}；若θ∈[-157.5°,-112.5°]，则V_n＝{右下}；若θ∈[-112.5°,-67.5°]，则V_n＝{正下}；若θ∈[-67.5°,-22.5°]，则V_n＝{右下}，并计算目标轮廓面积，存储到Area(V_n,N)中；

③因所设运动方向为固定的8个，而实际目标并不一定完全在该方向上，需实时调整运动方向使执行机构尽快靠近目标，设图像的帧频为F，可以根据执行机构的实际运动速度设定一个较短的时间间隔Δt，则在Δt时间内播放的帧数为F×Δt，假设当前为对靶运动开始，此时Area(V_n,N)中存储的为对靶运动开始时的目标轮廓面积，执行机构开始沿V_n方向运动并在读取每一帧时将变量k自增1，当到达Δt时刻时，设此时的累计帧数为K_m，则有，先将变量k归零，然后读取当前摄像头拍摄的图像使用步骤(2.2)中所述方法提取目标轮廓并统计其面积记为从Area(V_n,N)中提取对靶运动开始时存入的运动方向记为V_n；提取出对靶运动开始时存入的面积记为若则表示正在接近目标轮廓，不必改变运动方向，即V_m＝V_n，并将其面积存储到Area(V_m,K_m)中，执行机构继续沿该方向运动，否则，则说明此时的运动已远离目标轮廓，此时需重复步骤②重新确定对靶方向V_n，然后重复步骤③，直至喷药头的喷药区域内出现喷药目标，一次对靶运动结束，可以开始喷药。