CN108935413B - 一种基于植物空间处方图的叶面药喷施的装置及方法 - Google Patents

Abstract

本发明公开了一种基于植物空间处方图的叶面药喷施的装置，包括植物空间生理病理信息采集系统、工控机、机械运动系统和喷药系统。本发明还提供一种基于植物空间处方图的叶面药喷施的方法，包括将待测植株通过移动平台运送至旋转平台；植物空间生理病理信息采集系统采集生理病理光谱信息和序列图像；由工控机对生理病理光谱信息和序列图像进行处理得到三维结构的药喷施空间处方图；喷药系统根据空间处方图对植株进行药喷施。本发明提供的叶面药喷施的装置及方法可以减少药喷施造成的浪费，提高效率，并提高对靶的精确度。

Description

一种基于植物空间处方图的叶面药喷施的装置及方法

技术领域

本发明涉及精细农业领域，特别涉及一种基于植物空间处方图的叶面药喷施的装置及方法。

背景技术

随着现代化农业的发展，应用信息技术来预防农作物病虫害越来越受到相关学者专家的研究，例如光谱技术包括红外光谱、拉曼光谱、高光谱等均被应用于检测作物器官的生理病理信息变化等病症。为了预防这些病虫害并提高农作物的生存抗病能力，往往采用喷施农药的方式。

然而，现阶段的农药喷施存在着浪费严重、喷施不精确、效率低下的问题。由于现阶段农药的喷洒往往是多次循环，农药喷洒量大，这样导致部分药物大量流失在作物行间。现阶段农药往往采用统一均匀喷施，然而实际中各个田块甚至各株植株的生长状况与病虫害情况不同，需要的农药情况也大不相同。采用统一均匀喷施的方式，节省了人工的时间，但是会导致各个田块各株植株存在喷施不精确、过喷或漏喷的情况。同时由于喷洒是多次循环的，导致存在喷施效率低的问题。对于大田的药喷施还易存在土壤板结、环境污染等生态问题，影响环境和人类健康。

工厂化的作物生产可以有效解应对药喷施造成的环境问题，例如植物工厂或者移栽盆栽植物，然而效率问题依旧存在，并且统一均喷的方式容易导致植物器官局部生长受影响。在提高药喷施精度方面，采用结合空间处方图的方法逐渐受到研究应用，如公开号为CN103136632A的中国专利文献公开了一种作物病情处方图生成与发布系统、公开号为CN108052562A的中国专利文献公开了一种处方图作业方法及装置，但是在相关的专利检索中，但大多空间处方图专利与应用集中在粗粒度的喷施空间处方图基础上，精度提升有限，而且主要是根据二维视图建立空间处方图，获取的植株信息不全面。

发明内容

本发明的目的在于提供一种基于植物空间处方图的叶面药喷施的装置，本发明提供的叶面药喷施的装置能准确的根据植株的几何结构实现多角度定点喷施叶面药。本发明还提供了一种叶面药喷施的方法，本发明提供的方法生成的空间处方图更加有效准确、提高了定点准确性，实现在检测植株病理生理信息的同时进行有效的药喷施，有效的提高的农业对靶对点喷药的精度。

本发明提供以下技术方案：

一种基于植物空间处方图的叶面药喷施的装置，包括：

植物空间生理病理信息采集系统，包括高光谱相机和RGB相机，分别用于获取植物的高光谱图像和序列图像，并传输到工控机；

工控机，获取生理病理光谱信息和序列图像后结合卷积神经网络进行像素点分级、结合空间几何拓补关系对点进行聚类，建立有效喷药分级分区，生成空间处方图；发送指令至机械运动系统和喷药系统；

机械运动系统，根据工控机的指令移动植物空间生理病理信息采集系统和植株；

喷药系统，根据接收到的空间处方图，对植株进行分级分区药喷施。

从高光谱相机采集的高光谱图像可以获取植物的生理病理光谱信息。

所述的喷药系统包括：

药液箱，包括若干组配料控制单元、若干组药液灌和若干输液系统，每个配料控制单元根据接收到的空间处方图进行药配比并通过输液系统将药液输送到喷嘴；

喷嘴，安装在旋转支架上，通过气阀和喷嘴形状分别控制喷药压强和喷施范围；

旋转支架，进行旋转以及径向位移，以适应植株大小；

检测监控相机，安装在旋转支架上，在喷嘴进行喷液的同时，检测监控相机对植株进行同步图像采集，获取植株空间模型药的喷施情况，以作喷药控制调整参考。

在喷药系统中，通过气阀以及喷嘴形状来控制药喷施情况，气阀的大小控制喷嘴喷药压强，避免药液未粘附叶面而导致浪费错喷、喷嘴形状则控制喷施范围做到准确定位。所述的喷嘴形状为圆口或线口(矩形口)。

所述的配料控制单元包括若干路进料导管、配料容器和出料导管，所述的输液系统包括输液泵和输液管；药液罐中的药液依次通过进料导管、配料容器、出料导管、输液泵和输液管进入到对应的喷嘴。其中，输液系统配合配料控制单元安装在药液箱中，输液泵位于配料控制单元末端，控制出料药液，输液管随着旋转支架连通各喷嘴。

优选的，所述的出料导管的半径大于进料导管。配料控制单元包含有多路小半径进料导管，保证控制药液配比，同时设计大半径出料导管口，可以保证药液的快速流通。

优选的，药液箱至少包括2个药液罐和2套配料控制单元，所述的配料控制单元一对一控制喷嘴，药液通过配料控制单元按比例输入配料控制单元以调节药液比例，并通过输液系统中输液泵控制到各个喷嘴的药液剂量，实现准确的喷药。

在喷药系统中，优选的，所述的旋转支架成类J型，可根据植株大小实现径向移动以适应；所述的旋转支架上安装有至少一台检测监控相机，拍摄监测喷药情况。

在喷药系统中，由于单纯使用激光以及红外测距相机的光线经过水滴易造成折射反射多种情况的发生导致测距误差，因此需要结合视觉方法进行检测。为了保证一定的检测精度以及降低制造成本，作为优选，选用RGBD相机Kinect作为检测监控相机来采集植株此角度的深度和彩色信息。

在植物空间生理病理信息采集系统中：理论上，相机分布的角度位置越多，植株模型重建的效果越好越精确，获取的生理病理信息越丰富，但是会增加制造的成本。

优选的，所述的植物空间生理病理信息采集系统包括排布在装置四侧与顶部的RGB相机、与一侧RGB相机上下组合及安装在装置顶部的高光谱相机、排布在装置四侧并位于RGB相机之上的光源发生器。

所述的光源发生器，主要为卤钨灯，发射多波段光谱；是为了减少单侧光源造成拍摄图像阴影严重从而导致空间模型不佳。

所述的机械运动系统包括由工控机控制的采集装置移动平台、旋转平台和移动平台；所述采集装置移动平台包括升降轴和平动轴；所述移动平台包括皮带和电机，电机带动皮带传送植株到旋转平台；所述旋转平台包括电机、皮带、旋转轴和平台，电机带动皮带传送植株和旋转轴上平台的植株进行旋转。

其中，采集装置移动平台、旋转平台和移动平台根据工控机时序与操作要求运行。在采集装置移动平台中，所述平动轴包括X轴和Y轴；在旋转平台中，通过工控机控制皮带、旋转轴旋转，以满足相机采集序列图像；通过工控机控制皮带的停止、运行，以实现传送植株的停止拍摄以及采集。

移动平台传送皮带与旋转平台分开，并具有一定的倾斜角度与旋转平台相接。

本发明还提供一种基于植物空间处方图的叶面药喷施的方法，包括下述步骤：

(1)将待测植株通过移动平台运送至旋转平台；

(2)采集装置移动平台进行移动调整植物空间生理病理信息采集系统至最适拍摄位置；

(3)旋转平台旋转，根据采集顺序依次打开高光谱相机、RGB相机以及对应的光源发生器并依次关闭，植物空间生理病理信息采集系统采集生理病理光谱信息和序列图像并传输到工控机；采集完成后，旋转平台复位至初始角度位置，进行药喷施；

(4)由工控机对生理病理光谱信息和序列图像进行处理得到三维结构的药喷施空间处方图；

(5)结合检测监控相机实时监测并反馈给工控机的喷药位置与角度和工控机生成的药喷施空间处方图，工控机传输电子信号给配料控制单元进行药配比并通过输液系统传输到喷嘴，旋转支架根据植株形状进行径向伸缩以及旋转并配合喷嘴进行喷药；

(6)喷药结束后根据检测监控相机检测得到的喷施药后的植物三维模型与三维结构药喷施空间处方图进行比较，在评价指标内则结束喷药，系统运输出该植株，运进下一植株；若未达到指标，重复步骤(5)。

在步骤(4)中，生成空间处方图的方法为：

(4-1)对RGB相机采集的多视角序列图像进行特征提取与匹配，计算三维坐标生成多帧点云数据，对点云数据进行配准得到植株的三维空间结构模型；

(4-2)将高光谱相机采集的高光谱图像与植株的三维空间结构模型进行匹配，将高光谱相机与基准RGB相机进行坐标转化，统一不同相机的坐标系；以RGB序列图像为基准，通过插值、滤波算法统一图像分辨率，RGB序列图像维度增加，对应得到含生理病理光谱信息的三维结构点云数据；

(4-3)应用卷积神经网络，根据需求选择光谱波段，对高光谱图像进行识别预测，对高光谱图像像素点进行语义分割，并进行分级分类，计算得到像素点药喷施配比及量；

(4-4)通过反向投影将步骤(3)像素点药喷施配比及量作为第四维、第五维信息添加至三维结构点云数据中；在此基础上，以像素点药喷施配比及量两个维度为特征信息，比较点云数据中各点与邻域点之间的特征信息差值，将插值小于阈值的点进行聚类，并且约束聚类点数，建立有效喷药分级分区，生成空间处方图。

在步骤(4-4)中，约束聚类点数可以有效避免二维图像中上下重叠遮盖的叶片之间的相互影响。

在步骤(5)中，通过配料控制单元中的进料导管实现药喷施中的药液比例，通过输液系统中的输液泵控制传输到喷嘴的药液剂量，通过喷嘴上气阀的开闭大小控制药喷施速度，通过喷嘴上气阀的开闭控制药喷施的喷停。

与现有技术相比，本发明的有益效果为：

本发明提供的叶面药喷施的装置针对高光谱图像像素点光谱信息对像素点进行药喷施分级，并将分级信息作为第四维信息反向投影至三维点云中，以第四维信息和三维点云的几何拓扑关系作为第二次分级分区的特征信息，进一步确定植株药喷施分级分区情况，建立更加有效准确的植株空间处方图，提高定点准确性。

相比传统一般的二维养分图，本发明提供的叶面药喷施装置所生成的是空间信息更为准确的个体植株的空间处方图，避免了二维空间处方图图像视角叶片遮挡问题，能准确的根据植株的几何结构实现多角度定点喷施叶面药，减少药损失，适用于设施农业以及植物表型分析研究应用。

本发明提供的叶面药喷施的装置可以根据植株结构尺寸进行调整，有效配合植物三维模型实现定点喷施，同时结合RGBD相机可以实现喷药效果的反馈，避免漏喷等情况发生。

本发明提供的基于植物空间处方图的叶面药喷施的方法与装置，实现了实时检测植物生理病理信息并作出相应喷药喷药补助措施，有效的提高了作业的时效性，并可以针对个体植株生理病理情况做喷施药处理；本发明基于建立三维空间结构处方作业图，实现在检测植株病理生理信息的同时进行有效的药喷施，有效的提高的农业对靶对点喷药的精度，用于设施农业中，有效的避免了农业过度喷洒或者欠喷造成的喷药效果不佳情况，节约成本同时减少植株残留过多农药的情况发生；本发明通过对药的配比调整，可选择实现药的同时喷施，降低了喷施次数，提高效率；本发明实现全自动化控制，降低操作难度，提高农业生产作业效率。

附图说明

图1为本发明提供的叶面药喷施的装置的正视图；

图2为本发明提供的叶面药喷施的装置的俯视图；

图3为本发明提供的喷药系统的结构示意图；

图4为本发明提供的配料控制单元的结构示意图；

图5为本发明提供的叶面药喷施的装置的工作流程示意图；

其中，1、皮带；2、旋转平台；3、升降轴；4、平动轴(X轴)；5、平动轴(Y轴)；6、RGB相机；7、光源发生器；8高光谱相机；9、药液箱；10、旋转支架；11、RGBD相机；12、喷嘴；13、喷嘴气阀；14、输液管、15、配料控制单元；16工控机；17、进料导管；18、配料容器；19、出料导管。

具体实施方案

下面结合附图和实例对本发明做进一步详细描述。

本实施例以大叶虎皮植物为例进行说明。

如图1和图2所示，本实施例提供的基于植物空间处方图的叶面喷施的装置包括：

植物空间生理病理信息采集系统，包括高光谱相机系统8、RGB相机6、光源发生器7；具体地，装置的四侧和顶部设有RGB相机6，装置的四侧设有位于RGB相机6上方的光源发生器7；装置的一侧和顶部设有与RGB相机上下组合的高光谱相机8。

工控机16，获取生理病理光谱信息和序列图像后结合卷积神经网络进行像素点分级、结合空间几何拓补关系对点进行聚类，建立有效喷药分级分区，生成空间处方图；发送指令至机械运动系统和喷药系统。

机械运动系统，包括由工控机16控制的采集装置移动平台、旋转平台2和移动平台；采集装置移动平台由升降轴(Z轴)3、平动轴(X轴)4、平动轴(Y轴)5构成，用于移动叶面药喷施装置顶部的RGB相机6和高光谱相机8；旋转平台2由皮带、旋转轴、平台和电机组成，用于植物空间生理病理信息采集系统工作中传送和旋转植株；移动平台由皮带1、电机组成，用于运输植株到叶面药喷施的装置中进行检测和药喷施。

喷药系统，如图3和图4所示，包括药液箱9、喷嘴12、旋转支架10、RGBD相机11；药液箱9包括若干组配料控制单元15、若干组药液灌和若干输液系统，配料控制单元15包括若干路进料导管17、配料容器18、出料导管19，所述的输液系统包括输液泵和输液管14；药液罐中的药液依次通过进料导管17、配料容器18、出料导管19、输液泵和输液管14进入到对应的喷嘴12；旋转支架10成类J型，可以进行旋转以及径向位移，以适应植株大小；输液泵可以控制到各个喷嘴12的药液剂量；喷嘴12上的气阀13的开闭大小可以控制药喷施速度，气阀13的开闭控制药喷施的喷停。

如图5所示，上述装置的工作流程为：

(1)由工控机16控制，通过移动平台1依次将植株运送至旋转平台2进行检测与药喷施，当前一棵植株进入旋转平台2进行检测喷施时，后一棵植株位于移动平台1上，并处于装置外侧，进入等待状态。

(2)采集装置移动平台(Z轴3、X轴4、Y轴5)调整RGB相机6和高光谱相机8的位置至合适的拍摄位置。

(3)旋转平台2开始旋转，光源发生器7开始工作，高光谱相机系统8与RGB相机6开始同步进行采集工作，采集包括侧视与冠层植株生理病理信息以及空间位置信息，并输入到工控机16。

(4)工控机16根据步骤(3)中的生理病理信息以及空间位置信息计算获得空间处方图。

(5)根据空间处方图，药液箱9内的配料控制单元15对药液进行一定比例一定量的配比，并通过输液管14送到各自对应控制的喷嘴12处，并通过工控机控制旋转支架10的径向位移以及不同喷嘴12的气阀13开闭程度实现药液的喷施。具体地，药液罐中的药液通过不同进料导管17进入配料容器18进行药喷施配比，配比后的药液通过出料导管19进入到输液管14、喷嘴12，其中，通过输液泵设置在配料控制单元15的末端并控制出料导管19进入到输液管14的药液剂量，通过喷嘴12上的气阀13控制药液的喷施压强。

(6)在单角度喷施完毕后，旋转支架10按导轨旋转一定角度进行喷施直至旋转360°。在喷嘴12进行喷液的同时，RGBD相机6对植株进行同步图像采集，可以获取植株空间模型药的喷施情况，以确定是否需要二次喷施。具体地，检测监控相机检测得到的喷施药后的植物三维模型与三维结构药喷施空间处方图进行比较，在评价指标内则结束喷药，系统运输出该植株，运进下一植株；若未达到指标，重复步骤(5)。

工控机16生成空间处方图的方法为：

(4-1)对RGB相机采集的多视角序列图像进行特征提取与匹配，计算三维坐标生成多帧点云数据，对点云数据进行配准得到植株的三维空间结构模型；

(4-2)将高光谱相机采集的高光谱图像与植株的三维空间结构模型进行匹配，将高光谱相机与基准RGB相机进行坐标转化，统一不同相机的坐标系；以RGB序列图像为基准，通过插值、滤波算法统一图像分辨率，RGB序列图像维度增加，对应得到含生理病理光谱信息的三维结构点云数据；

(4-3)应用卷积神经网络，根据需求选择光谱波段，对高光谱图像进行识别预测，对高光谱图像像素点进行语义分割，并进行分级分类，计算得到像素点药喷施配比及量；

(4-4)通过反向投影将步骤(3)像素点药喷施配比及量作为第四维、第五维信息添加至三维结构点云数据中；在此基础上，以像素点药喷施配比及量两个维度为特征信息，比较点云数据中各点与邻域点之间的特征信息差值，将插值小于阈值的点进行聚类，并且约束聚类点数，建立有效喷药分级分区，生成空间处方图。

Claims (6)

1.一种基于植物空间处方图的叶面药喷施的装置，包括：

植物空间生理病理信息采集系统，包括高光谱相机和RGB相机，分别用于获取植物的高光谱图像和序列图像，并传输到工控机；

工控机，获取生理病理光谱信息和序列图像后结合卷积神经网络进行像素点分级、结合空间几何拓补关系对点进行聚类，建立有效喷药分级分区，生成空间处方图；发送指令至机械运动系统和喷药系统；

机械运动系统，根据工控机的指令移动植物空间生理病理信息采集系统和植株；

喷药系统，根据接收到的空间处方图，对植株进行分级分区药喷施；

所述的喷药系统包括：

药液箱，包括若干组配料控制单元、若干组药液灌和若干输液系统，每个配料控制单元根据接收到的空间处方图进行药配比并通过输液系统将药液输送到喷嘴；

喷嘴，安装在旋转支架上，通过气阀和喷嘴形状分别控制喷药压强和喷施范围；

旋转支架，进行旋转以及径向位移，以适应植株大小；

检测监控相机，安装在旋转支架上，在喷嘴进行喷液的同时，检测监控相机对植株进行同步图像采集，获取植株空间模型药的喷施情况，以作喷药控制调整参考；

所述的植物空间生理病理信息采集系统包括排布在装置四侧与顶部的RGB相机、与一侧RGB相机上下组合及安装在装置顶部的高光谱相机、排布在装置四侧的光源发生器；

所述的机械运动系统包括由工控机控制的采集装置移动平台、旋转平台和移动平台；所述采集装置移动平台包括升降轴和平动轴；所述移动平台包括皮带和电机，电机带动皮带传送植株到旋转平台；所述旋转平台包括电机、皮带、旋转轴和平台。

2.如权利要求1所述的基于植物空间处方图的叶面药喷施的装置，其特征在于，所述的配料控制单元包括若干路进料导管、配料容器和出料导管，所述的输液系统包括输液泵和输液管；药液罐中的药液依次通过进料导管、配料容器、出料导管、输液泵和输液管进入到对应的喷嘴。

3.如权利要求2所述的基于植物空间处方图的叶面药喷施的装置，其特征在于，所述的出料导管的半径大于进料导管。

4.一种基于植物空间处方图的叶面药喷施的方法，其特征在于，使用权利要求1-3任一所述的装置，包括下述步骤：

（1）将待测植株通过移动平台运送至旋转平台；

（2）采集装置移动平台进行移动调整植物空间生理病理信息采集系统至最适拍摄位置；

（3）旋转平台旋转，根据采集顺序依次打开高光谱相机、RGB相机以及对应的光源发生器并依次关闭，植物空间生理病理信息采集系统采集生理病理光谱信息和序列图像并传输到工控机；采集完成后，旋转平台复位至初始角度位置，进行药喷施；

（4）由工控机对生理病理光谱信息和序列图像进行处理得到三维结构的药喷施空间处方图；

（5）结合检测监控相机实时监测并反馈给工控机的喷药位置与角度和工控机生成的药喷施空间处方图，工控机传输电子信号给配料控制单元进行药配比并通过输液系统传输到喷嘴，旋转支架根据植株形状进行径向伸缩以及旋转并配合喷嘴进行喷药；

（6）喷药结束后根据检测监控相机检测得到的喷施药后的植物三维模型与三维结构药喷施空间处方图进行比较，在评价指标内则结束喷药，系统运输出该植株，运进下一植株；若未达到指标，重复步骤（5）。

5.如权利要求4所述的基于植物空间处方图的叶面药喷施的方法，其特征在于，在步骤（4）中，生成空间处方图的方法为：

（4-1）对RGB相机采集的多视角序列图像进行特征提取与匹配，计算三维坐标生成多帧点云数据，对点云数据进行配准得到植株的三维空间结构模型；

（4-2）将高光谱相机采集的高光谱图像与植株的三维空间结构模型进行匹配，将高光谱相机与基准RGB相机进行坐标转化，统一不同相机的坐标系；以RGB序列图像为基准，通过插值、滤波算法统一图像分辨率，RGB序列图像维度增加，对应得到含生理病理光谱信息的三维结构点云数据；

（4-3）应用卷积神经网络，根据需求选择光谱波段，对高光谱图像进行识别预测，对高光谱图像像素点进行语义分割，并进行分级分类，计算得到像素点药喷施配比及量；

（4-4）通过反向投影将步骤（3）像素点药喷施配比及量作为第四维、第五维信息添加至三维结构点云数据中；在此基础上，以像素点药喷施配比及量两个维度为特征信息，比较点云数据中各点与邻域点之间的特征信息差值，将插值小于阈值的点进行聚类，并且约束聚类点数，建立有效喷药分级分区，生成空间处方图。

6.如权利要求4所述的基于植物空间处方图的叶面药喷施的方法，其特征在于，在步骤（5）中，通过配料控制单元中的进料导管实现药喷施中的药液比例，通过输液系统中的输液泵控制传输到喷嘴的药液剂量，通过喷嘴上气阀的开闭大小控制药喷施速度，通过喷嘴上气阀的开闭控制药喷施的喷停。