具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在除草领域,杂草与作物竞争水分、养分、和光照,滋生病虫害,导致粮食减产。田间杂草随机生长,且种类繁多。杂草防除方法主要有人工除草、化学除草和机械除草,其中,人工除草劳动强度大、效率低;化学除草方式通过喷施除草剂进行除草,过度施用除草剂易造成杂草抗药性,且污染环境;机械除草绿色环保,但对于和作物生长过于接近的杂草则无法通过机械方式除草(易误伤作物)。
杂草识别方面,智能化除草依赖精准的杂草识别和定位,传统的基于图像处理的杂草识别方法需要人工提取特征、算法设计复杂,存在着稳健性不足等缺陷。随着机器学习技术,特别是深度学习技术的发展,卷积神经网络得到了广泛的应用。目前深度学习物体检测网络识别和定位杂草的技术亦存在着诸多问题:1.建立物体检测模型训练集的成本高昂,需要采集数量和种类众多的杂草图像并分别进行边界框(bounding box)标注。2.农田常见的杂草有上百种,物体检测模型难以对所有杂草种类都保持较高的识别率。3.物体检测网络识别的杂草边界框并不能直接用于精准除草。尤其对于细长的禾本科杂草,边界框内杂草的面积占比较低,若对整个边界框区域喷施除草剂则会造成除草剂的浪费。
相关技术中无法根据杂草和农作物的位置关系确定对应的除草方式,也无法根据对应的除草方式确定除草作业区域,为了解决上述问题,本申请实施例提供了相应的解决方案,以下详细说明。
本申请实施例所提供的除草方式的确定方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现除草方式的确定方法的计算机终端(或电子设备)的硬件结构框图。如图1所示,计算机终端10(或电子设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或电子设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的除草方式的确定方法对应的程序指令/数据存储装置,处理器通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的除草方式的确定方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或电子设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或电子设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或电子设备)中的部件的类型。
在上述运行环境下,本申请实施例提供了一种除草方式的确定方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本申请实施例的一种除草方式的确定方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,识别目标区域中的杂草和农作物,得到杂草在目标区域中的位置信息以及包含农作物的第一边界框。
在本申请实施例的上述步骤S202中,针对有限种类的作物建立深度学习训练集,利用物体检测模型识别作物,并绘制包含农作物的第一边界框,第一边界框之外的绿色目标则认为是杂草,如此可极大降低训练集建立和标注的成本。
利用物体检测模型识别并绘制农作物的边界框后,采用超绿因子分割边框外的绿色杂草目标,并通过面积滤波滤除噪点,将得到的完整形态的杂草取最小外切矩形框,即为杂草的位置。具体实现步骤为:遍历图像中的每个像素点,首先判断该像素点是否在边界框内,若是,则直接将像素值置为0,反正将像素值设置为2G-R-B的计算值,需要说明的是,G、R、B分别表示绿色、红色和蓝色的像素值。遍历完成所有像素点,即可得到根据超绿因子生成的灰度图。将该灰度图采用大津法(OTSU)进行自动阈值分割,得到只包含杂草像素的二值图。进一步地,标记二值图中的像素连通区域,并计算连通区域的面积值,将面积值小于阈值的像素点过滤掉,得到滤除噪点的杂草分割图。如此,实现杂草像素的识别和定位。
步骤S204,确定杂草的位置和第一边界框的位置关系。
在本申请实施例的上述步骤S204中,对于农作物与杂草的分布,杂草的位置和农作物的第一边界框存在以下四种情况,如图3a所示,第一种为农作物的第一边界框内只存在农作物(右下);第二种为农作物边界框内包含了杂草(左下);第三种为农作物与杂草相连,且杂草超出作物边界框(左上);第四种为杂草未与作物相邻的孤立存在(右上)。
步骤S206,依据位置关系,确定目标区域对应的除草方式。
在本申请实施例的上述步骤S206中,根据农作物与杂草的四种分布情况,确定对应的除草方式,例如机械除草方式、化学除草方式等,需要说明的是,本申请实施例中并不限定除草方式为机械除草或化学除草,可以在除草装置中的旋转机构上集成更多除草方式,例如,还可以集成激光除草执行器、火焰除草执行器、电击除草执行器等等。
在上述除草方式的确定方法中的步骤S206中,依据位置关系,确定目标区域对应的除草方式,具体包括如下步骤:当杂草的位置在第一边界框之外时,获取包含杂草的第二边界框,其中,第二边界框为杂草的最小外接框;确定第二边界框中的除草方式为机械除草方式;将包含机械除草方式的第一指令发送给除草装置,以控制除草装置调整为机械除草方式后,对第二边界框中的杂草执行机械除草的动作。
上述步骤对应图3a中的第四种情况,即杂草未与作物相邻的孤立存在,将得到的完整形态的杂草取最小外切矩形框,得到图3b,图3b中weed为杂草,杂草的最小外切矩形框即为第二边界框,该第二边界框所在的区域即为杂草的位置。该场景下,除草方式决策算法输出为机械除草,除草装置中的控制系统根据角度传感器旋转机械执行器至最下方,并对该区域实施机械除草。
在上述将包含机械除草方式的第一指令发送给除草装置之后,方法还包括如下步骤:确定第二边界框所在区域的面积与除草装置的第一最大作业区域的大小关系,其中,第一最大作业区域为除草装置中的机械执行器的最大作业范围,机械执行器用于执行机械除草的动作;在第二边界框所在区域的面积小于或等于第一最大作业区域的情况下,确定第二边界框所在区域为机械执行器的作业区域;在第二边界框所在区域的面积大于第一最大作业区域的情况下,将机械执行器的最大作业区域划分为多个第一网格,其中,多个第一网格覆盖第二边界框所在区域;确定第二边界框内的杂草与多个第一网格的重叠部分所在网格为第一目标网格,控制机械执行器对第一目标网格所在区域执行机械除草的动作。
在上述图3b所示的场景中,第二边界框所在区域并不能直接作为杂草防除的作业区域,因为杂草通常不会布满整个矩形框区域,尤其对于细长的禾本科杂草,矩形框区域或许较大,但杂草只占其中较小的区域。在机械除草模式下,机械末端执行器具有固定的覆盖范围。由此,可根据单元作业区域范围进行杂草目标的作业区域划分和检测。具体为:若杂草的矩形框区域(即第二边界框)小于或等于机械末端执行器的最大作业范围,则杂草矩形框区域直接为作业区域,可直接根据此位置进行除草作业。若杂草的矩形框区域大于机械末端执行器的最大作业范围,则以机械除草执行臂的作业区域范围设置网格尺寸,并以杂草矩形框的中心为起点向四周分布网格,直至覆盖整个杂草矩形框区域,得到图3c所示的示意图,图3c中包含8个第一网格,其排列方式为2行4列。进而将杂草矩形框区域按照网格进行切割,将切割后的网格图像输入到分类网络模型中判断有无杂草,从而可以精准确定矩形框内包含杂草的区域,即除草作业区域。在图3c中,第1行第1列至第2列和第2行第2列至第4列对应的网格即为第一目标网格,对第一目标网格所在区域执行机械除草的动作。
在上述除草方式的确定方法中的步骤S206中,依据位置关系,确定目标区域对应的除草方式,具体包括如下步骤:当杂草的位置全部在第一边界框之内时,确定第二边界框中的除草方式为化学除草方式;将包含化学除草方式的第二指令发送给除草装置,以控制除草装置调整为化学除草方式后,对第二边界框中的杂草执行化学除草的动作。
上述步骤对应图3a中的第二种情况,即农作物的第一边界框内包含了杂草的情况,对第一边界框内的目标进行进一步检测,确定其内部是否存在杂草,当检测出第一边界框内包含杂草的情况下,则对检测出的杂草需使用化学喷施除草。当对第一边界框内进一步检测时,未检测到杂草,其对应图3a中的第一种情况,即农作物的第一边界框内只存在农作物,则无需进行除草。
在上述将包含化学除草方式的第二指令发送给除草装置之后,方法还包括如下步骤:确定第二边界框所在区域的面积与除草装置的第二最大作业区域的大小关系,其中,第二最大作业区域为除草装置中的除草剂喷头的最大作业范围,除草剂喷头用于执行化学除草的动作;在第二边界框所在区域的面积小于或等于第二最大作业区域的情况下,确定第二边界框所在区域为除草剂喷头的作业区域;在第二边界框所在区域的面积大于第二最大作业区域的情况下,将第二最大作业区域划分为多个第二网格,其中,多个第二网格覆盖第二边界框所在区域;确定第二边界框内的杂草与多个第二网格的重叠部分所在网格为第二目标网格,控制除草剂喷头对第二目标网格所在区域执行化学除草的动作。
在本申请实施例中,对于化学除草,施药器单个喷头的喷施范围是固定的,也即上述第二最大作业区域是固定的。由此,根据第二最大作业区域范围进行杂草目标的作业区域划分和检测。具体为:若杂草的矩形框区域小于或等于喷头的作业范围,则杂草矩形框区域直接为作业区域,可直接根据此位置进行除草作业。若杂草的矩形框区域大于喷头的作业范围,则以除草剂喷头的喷施区域范围设置网格尺寸,并以杂草矩形框的中心为起点向四周分布网格,直至覆盖整个杂草矩形框区域,得到图3d所示的示意图,图3d中包含16个第二网格,其排列方式为4行4列。进而将杂草矩形框区域按照网格进行切割,将切割后的网格图像输入到分类网络模型中判断有无杂草,从而可以精准确定矩形框内包含杂草的区域,即除草作业区域。在图3d中,第2行第3列中的阴影区域即为第二目标网格所在区域,并对其执行化学除草的动作。
在上述除草方式的确定方法中的步骤S206中,依据位置关系,确定目标区域对应的除草方式,具体包括如下步骤:当杂草的部分位置在第一边界框之内时,将第一边界框和第二边界框的并集区域作为目标边界框;将第一最大作业区域和第二最大作业区域的并集区域作为第三作业区域,将第三作业区域划分为多个第三网格;确定目标边界框内的杂草与第一边界框所包含区域的第一重叠区域,将第一重叠区域所占用的网格作为第一作业区域,将第一作业区域之外包含杂草的网格作为第二作业区域;确定第一作业区域中的除草方式为化学除草方式,确定第二作业区域中的除草方式为机械除草方式。
上述步骤对应图3a中的第三种情况,即农作物与杂草相连,且杂草超出作物边界框(左上),该场景通过检测第一边界框外的杂草是否与第一边界框相连而确定。如图3e所示,首先取第一边界框外杂草的最小外切矩形框,继而取农作物的第一边界框与杂草边界框的并集区域作为目标边界框,将第一最大作业区域和第二最大作业区域的并集区域作为第三作业区域,并设该第三作业区域作为新的待检测区域。
对待检测区域进行杂草识别和作业区域检测,若杂草的矩形框区域小于或等于第三作业区域,即机械末端执行器或喷头的作业范围,则杂草矩形框区域直接为作业区域,可直接根据此位置进行除草作业。若杂草的矩形框区域大于机械末端执行器或喷头的作业范围。则以机械除草执行臂的作业区域范围或除草剂喷头的喷施区域范围设置网格尺寸,并以杂草矩形框的中心为起点向四周分布网格,直至覆盖整个杂草矩形框区域,得到图3f所示的示意图,图3f中包含24个第三网格,器排列方式为4行6列。进而将杂草矩形框区域按照网格进行切割,将切割后的网格图像输入到分类网络模型中判断有无杂草,从而可以精准确定矩形框内包含杂草的区域,即除草作业区域。在图3f中,第2行第3列,第2行第4列,第3行第3列,第3行第4列,第3行第5列,第3行第6列网格为检测出的包含杂草的除草作业区域。
在本申请实施例中,与农作物的第一边界框重叠的作业区域网格使用化学喷施除草;反之,使用机械除草。也即在图3f所示的场景中,第2行第3列,第2行第4列,第3行第3列,第3行第4列为第一作业区域,该第一作业区域采用化学喷施除草;第3行第5列,第3行第6列为第二作业区域,该第二作业区域采用机械除草。
在上述确定目标区域对应的除草方式之后,方法还包括如下步骤:获取化学除草方式对应的作业区域;以作业区域的中心为起点向四周分布密度检测网格,并获取密度检测网格的总数,其中,密度检测网格的尺寸小于第二网格或第三网格的尺寸;统计包含杂草的密度检测网格的第一数量;依据第一数量和密度检测网格的总数,确定杂草的占比。
在相关技术中,无论是采用图像分类网络或物体检测网络,只能识别图像中有无杂草,难以计算杂草目标占图像或边界框的比率。分割网络虽然可以实现像素级的目标识别和统计,但是分割网络的训练成本高昂,且往往精度低于分类网络和物体检测网络。实际应用中,通常需要判断杂草在作业区域内的占比,从而精确统计杂草覆盖率,以及除草剂的可变量喷施。在本申请实施例中,可通过设置密度检测网格确定杂草占作业区域的比率,具体地:先设置密度检测网格的尺寸,例如可设置密度检测网格的尺寸为作业区域网格的三分之一,如图3g所示的示意图,图3g中左侧为4行4列的作业区域网格,对该作业区域网格中的第2行第3列设置密度检测网格,例如划分成3×3的网格,每个密度检测网格的尺寸为作业区域网格的三分之一。以作业区域网格的中心为起点向四周分布密度检测网格,直至覆盖整个作业区域网格,进而将作业区域网格按照密度检测网格进行切割,将切割后的网格图像输入到分类网络模型中判断有无杂草。统计包含杂草的密度检测网格占密度检测网格总数的比率,该比率即为杂草占比。通过图3g的右侧图中可以看出,密度检测框共计9个,其中包含杂草的有6个,故而杂草占比为2/3。
在另一种可选的实施例中,如图3h所示的示意图中,分别对图3h中的第2行第3列,第2行第4列,第3行第3列,第3行第4列设置密度检测网格,该密度检测网格的尺寸为3×3,从而确定杂草的占比,其中,第2行第3列,包含杂草的密度检测框为2个,故而杂草占比为2/9,第2行第4列,包含杂草的密度检测框为3个,故而杂草占比为1/3,第3行第3列,包含杂草的密度检测框为1个,故而杂草占比为1/9,第3行第4列,包含杂草的密度检测框为3个,故而杂草占比为1/3。
在上述确定杂草的占比之后,方法还包括如下步骤:依据杂草的占比,确定化学除草方式所需的除草剂用量。例如在图3g和图3h中,根据杂草占比信息,可用于杂草覆盖率的精确统计,同时也可作为喷施除草剂用量设定的参照数据(可变量喷施),以使得使用尽可能少的除草剂剂量实现杂草控制,从而减少环境污染并延缓杂草的抗药性。
在上述除草方式的确定方法中,还包括如下步骤:记录目标区域的位置信息以及对应的除草方式;获取至少两次使用化学除草方式的区域所对应的目标位置;将目标位置的除草方式更改为机械除草方式。
在本申请实施例中,对每次除草作业进行跟踪记录,例如使用移动互联网杂草防除作业信息化管理,记录每块作业区域的经纬度及除草方式,对于采用过化学除草喷施后仍然无法控制杂草的喷施区域可强制使用机械除草方式。
在本申请实施例中,杂草通常可分为禾本科杂草和阔叶草,两类杂草通常需要使用不同的除草剂进行喷施,例如乙酰辅酶A羧化酶抑制剂(ACCase-inhibitingherbicides)仅对禾本科杂草有防治效果,而大多数的激素类(synthetic auxinherbicides)除草剂仅对阔叶草有防治效果。本申请中使用两个喷头分别喷施两种除草剂,故而可在化学喷施除草方式下针对杂草类别进行有效除草。
在本申请实施例中,若需要机械除草或不区分杂草类型的非选择性除草剂喷施,则只需检测网格中是否有杂草,而无需判断杂草类别。该场景下,分类神经网络模型训练和推理时的输入数据和标签为包含杂草的图像(不区分杂草类型)和不包含杂草的图像,输出为是否包含杂草。反之,若为选择性的除草剂喷施,则需要通过分类神经网络模型输出杂草类别以及除草剂信息。该场景下,可包含两种处理方式,一为分类神经网络模型训练和推理时的输入数据和标签为不同种类杂草的图像(真正类)和不包含杂草的图像(真负类);输出为杂草种类(或无杂草)。该方式下,仍需人工根据杂草类别选择对应的除草剂种类。二为分类神经网络模型训练和推理时的输入数据和标签为可使用相同种类除草剂的杂草(将杂草按照对不同除草剂的敏感和耐受情况进行分组,对相同除草剂敏感的杂草归为一组);输出除草剂种类。
此外,杂草目标矩形区域可根据其坐标值映射至原图,由此可从原图中截取出来的一个个完整的杂草图像,得到一种自动化的训练数据集的获取方法。这些图像数据可上传至云端,用于神经网络模型的训练,而无需人工去标记并截取杂草区域以生成模型训练数据,极大的降低了杂草图像训练集的建立成本。对于获取到的杂草图像,可基于机械末端执行器或喷头的作业网格尺寸进行裁减,从而作为网格杂草识别分类神经网络模型的训练数据。同样,亦可基于密度检测网格的除草裁减后,作为密度检测分类神经网络模型的训练数据。
在本申请实施例中,根据识别出的网格作业区域,可计算出机械末端执行器或喷头作业移动的最短路径,以进一步提高作业效率。如结合旅行商算法(利用启发式算法,如遗传算法、模拟退火算法、蚁群算法等实现),计算出机械末端执行器或喷头遍历需要作业的网格区域的最优(短)路径,以遗传算法为例,具体计算方式为:模拟旅行商问题:设有n个格子需要杂草防除作业,其距离矩阵D=[dij],其中dij表示格子i到格子j的距离,i,j=1,2…n,则问题是要找出遍访每个格子恰好一次的一条回路并使其路径长度为最短。遗传算法程序流程如下:1、根据输入的格子初始化基因序列;2、计算每个基因序列的适应性,适应性与路径长度成反比;3、根据个体适应性选择生存下来的个体,即根据阈值选择留下来的个体;4、选择后,个体数小于种群初始个体数,使用轮盘选择方式选择父本;5、若是选中的父本既定概率大于交叉概率,则直接保留下来,否则通过交叉产生后代;6、后代进行基因突变操作,也就是交换两个节点值;7、判断是否达到迭代次数,是,结束,返回最优解;否,转到第2步。最终根据迭代结果,获取最优的距离矩阵,矩阵中每个格子的顺序,即为实际中机械末端执行器或喷头的移动路径。
在相关技术中,从除草方式角度,目前已有的除草装置通常仅支持单一的除草方法,但是杂草生长状态复杂,单一的除草方式难以有效覆盖所有场景。比如机械除草难以处理杂草与作物交织的场景;化学除草难以杀灭具有抗药性的杂草(herbicide-resistantweeds)和对除草剂耐杂草(herbicide-tolerant weeds)。为了满足自然环境下不同生长状态下的杂草除草场景,本申请实施例中使用的除草装置支持多种除草方式,比如,同时集成机械除草和化学喷施除草剂除草。其中,除草方式选择的基本策略为:1.优先使用绿色环保的机械除草;2.对于杂草和作物互不重叠的场景下使用机械除草;3.对于已经产生了除草剂抗药性的杂草或对耐除草剂的杂草使用机械除草;4.对于杂草和作物交织重叠的场景下使用喷施化学除草剂除草;5.化学喷施除草实现精准喷施前提下的可变量喷施(使用尽可能少的除草剂剂量实现杂草控制,从而减少环境污染并延缓杂草的抗药性)。
本申请实施例中使用的除草装置例如可以为除草机器人,该除草装置主体为四轮结构,前两轮为主动轮,分别由一个电机驱动,后两轮为从动轮可随动转向,四轮分别通过机架安装在固定板上。机器人可根据具体除草场景选择机械方式或喷施化学除草剂方式除草。机器人通过车身固定板下方安装的摄像头进行工作面图像的采集,判断是否有杂草,以及对应的除草方式。如发现杂草可通过伺服电机驱动并联机构的驱动臂,使并联机构的动平台移动到杂草的上方,继而根据除草方式决策算法的输出结果通过旋转机构选择相应的末端执行器进行除草工作。对于机械除草方式,可选取和安装不同机械末端执行器。对于化学喷施除草,可在识别杂草的同时,根据除草剂杀草谱训练神经网络模型,从而使模型直接输出杂草对应的除草剂信息,根据除草剂的不同选取相应的喷头进行除草剂喷施。药液输送系统的药箱、泵等安装在固定板上表面,通过一根软管与安装在并联机构动平台上的喷头连接,进行除草作业。
在一种可选的实施例中,如图3i所示的除草机器人的结构图,在图3i中,除草机器人由固定板1、控制装置2、摄像头A3、摄像头B4、主动轮电机5、主动轮6、末端执行器7、电磁阀A8、并联机构9、从动轮10、药箱A11和泵A12组成,机器人主体为四轮结构,前两轮为主动轮,分别由一个电机驱动,后两轮为从动轮可随动转向,四轮分别通过机架安装在固定板1上,机器人可通过两个主动轮电机5的正反转来实现机器人的前进后退以及转向。在固定板1的下表面通过螺栓将并联机构9的静平台与固定板1连接,固定板1的上表面安装药箱等配件,机械末端执行器和喷头安装在并联机构9的动平台22(参见图3k)的旋转机构上,其中喷头与药箱底部通过软管连接。此外,为对田间杂草进行识别,在固定板1的下方安装一个摄像头B4。摄像头A3用于导航路径识别。
主动轮6共有两个,分别采用一个主动轮电机5驱动,其结构如图3j所示,在图3j中,主动轮结构由轮座13、主动轮轴14、法兰盖15、轴承16、主动轮6和主动轮电机5组成。主动轮6安装在主动轮轴14上,主动轮轴14的两端分别通过轴承16和法兰盖15连接在轮座13上,主动轮轴14与主动轮电机5的输出轴连接,从而通过主动轮电机5的转动带动主动轮6的运动。
为方便主动轮6的安装,轮座13的两端开豁口并采用法兰盖15连接,其连接结构如图3j所示。轮座13的两侧分别采用螺栓和螺母与法兰盖15连接。法兰盖15中装有轴承16,用于与主动轮轴14连接。主动轮轴14两端采用阶梯轴,用于固定轴承16的内圈,轴承16外圈由法兰盖15固定,从而完成主动轮的安装。
并联机构采用三臂并联机器人,如图3k所示,并联机构由静平台17、伺服电机18、驱动臂19、球铰20、执行臂21、动平台22、喷头23、电磁阀A8、软管A24和软管B25组成。并联机构为三臂结构,三个方向均匀分布。并联机构的静平台17通过螺栓固定在固定板1的下方,在静平台17的下方均布安装三个伺服电机18,用于驱动臂19的转动。驱动臂19的另一端两侧分别通过球铰20连接一根执行臂21,因此一根驱动臂19连接两根执行臂21,每根执行臂的另一端同样采用球铰20与动平台22连接。故并联机构共3根驱动臂,6根执行臂,12个球铰。
除草机器人包含机械除草和化学喷施除草(双喷头,用于同时处理禾本科杂草与阔叶草,禾本科杂草与阔叶草使用不同的除草剂),装载机械末端执行器以及喷头的旋转装置安装在并联机构动平台22上。
以下说明不同除草方式的切换(执行臂切换工作原理):
首先说明连接并联机构的旋转机构。如图3l所示的旋转机构的结构示意图,在图3l中,旋转机构由电机26、位置记忆装置27和旋转机械体28组成,除此以外,在图3l中还包括:电磁阀A8、喷头A23和喷头B29。其中,电机26控制旋转机械体的旋转;机械除草末端执行器34、喷头A23和喷头B29分别连接至旋转机构(相邻呈120度夹角),默认机械除草末端执行器为0度角(垂直于地面),喷头A(喷施禾本科杂草除草剂)为120度角,喷头B(喷施阔叶草除草剂)为240度角。根据除草方式智能决策算法的输出结果,旋转相应角度。比如,当前喷头1垂直于地面(激活状态),检测到需要使用机械除草方式,则位置记忆装置27控制电机26旋转角度为120度,使得机械除草末端执行器34处于激活状态(旋转至垂直于地面)。
在一种可选的实施例中,机械末端执行器支持便捷更换,可根据田间场景需要选用和安装不同末端执行器,如图3m所示,四爪式32、扇叶式33、弯钩式35、刀片式36、弯片式37为不同机械末端执行器的结构图,在图3m中,其他结构还包括:机械除草末端执行器34、电磁阀B38、喷头B39、电磁阀A8、喷头A23。
在进行除草剂药液输送的过程中,除草剂药液输送系统设计为,药液输送系统相关设备安装在固定板1上方,如图3n所示,在图3n中,药液输送系统包括:药箱A11、泵A12、软管A24、药箱B41、泵B40、软管B25。由于除草剂杀草谱的不同,对于禾本科杂草和阔叶草采用不同的除草剂进行喷施,除草剂A装于药箱A11中,通过泵A12吸出,由软管A24输送至电磁阀A8的进水口处,除草剂B装在药箱B41中,通过泵B40吸出,并由软管B25输送至电磁阀B38的进水口处。根据摄像头B4采集的图像判断杂草类型,控制旋转机构旋转选用相应的喷头(对应不同的除草剂),并将其通过相应的软管输送至并联机构动平台上的电磁阀与喷头处,电磁阀开启后控制喷头完成除草剂喷施。其工艺流程图如图3o所示。
需要说明的是,本申请实施例需要训练的神经网络模型包括如下三种:一是训练识别作物的物体检测模型(训练集样本为作物);二是训练识别杂草的图像分类模型(训练集样本为杂草,图像尺寸为械除草执行臂的作业区域尺寸或除草剂喷头的喷施区域尺寸);三是训练检测杂草密度的图像分类模型(训练集样本为杂草,图像尺寸密度检测网格的尺寸,比如设置为作业区域网格的三分之一)。
图4是根据本申请实施例的一种除草方式的确定装置的结构图,如图4所示,该装置包括:
识别模块402,用于识别目标区域中的杂草和农作物,得到杂草在目标区域中的位置信息以及包含农作物的第一边界框;
第一确定模块404,用于确定杂草的位置和第一边界框的位置关系;
第二确定模块406,用于依据位置关系,确定目标区域对应的除草方式。
需要说明的是,图4所示的除草方式的确定装置用于执行图2所示的除草方式的确定方法,因此上述除草方式的确定方法中的相关解释说明也适用于该除草方式的确定装置,此处不再赘述。
图5是根据本申请实施例的一种除草系统的结构图,如图5所示,该除草系统500包括:处理器501、除草装置502、信号收发器503和终端设备504,其中,处理器,用于识别目标区域中的杂草和农作物,得到杂草在目标区域中的位置信息以及包含农作物的第一边界框;确定杂草的位置和第一边界框的位置关系;依据位置关系,确定目标区域对应的除草方式,并将包含除草方式的指令发送给除草装置;除草装置,至少包括机械执行器和除草剂喷头,用于依据处理器发送的指令,执行与指令对应的除草动作,其中,机械执行器用于执行机械除草的动作,除草剂喷头用于执行化学除草的动作;信号收发器,用于将终端设备发送的控制指令转发给处理器;终端设备,用于向处理器发送控制指令。
在图5所示的除草系统中,将终端设备(例如手机)和移动互联网引入杂草防除中,借助成熟的移动互联网服务实现杂草防除的信息和数据管理。具体为通过手机APP控制杂草的防除作业,包括:
1.设定除草的农田区域范围(指定经纬度),也可将常用的地块设置名称后保存,方便选取;
2.选择除草方式(机械除草、化学除草或智能化决策模式);
3.设置除草周期计划,下次除草周期到达时通过手机消息推送提醒用户。
除草作业完成后,自动生成除草信息报表,并保存至云端,通过手机APP可查看历次报表信息。报表信息包括:每次除草作业的日期和时间、作业地点(经纬度或地块名称)、杂草的数量、种类、生长阶段、或分布密度(通过矩形框数量确定杂草数量和分布密度,同时可将截取的原图杂草图像上传云端,通过神经网络模型识别杂草种类,进而统计出当前杂草防除区域包含的杂草种类信息)、每个作业区域的经纬度及除草方式、除草作业总耗时、以及除草剂用量等,并生成当次除草报告。该报告可通过手机APP上传至云端服务器,并基于此报告返回杂草防除建议,包括除草周期计划、除草方式建议,以及若采用化学除草,则推荐对应的除草剂种类。用户亦可通过手机APP转发及分享该报表,云端汇总报表信息可用于大数据应用(如除草剂抗药性研究、各地区杂草生长预测、神经网络模型优化等)。
同时,对于采用化学喷施除草的作业区域进行跟踪分析,若未达到除草效果,则判断为抗除草剂杂草或为耐除草剂杂草,该作业区域自动设定为强制机械除草区域。其中,通过获得的单颗杂草位置,可映射到原图,并获取从原图中截取出来的一个个杂草图像,这些图像数据可上传至云端,用于神经网络模型的训练。
需要说明的是,图像处理、杂草识别、除草方式决策算法的部署既可以使用单机部署,亦可部署至云端服务器,从而借助云端大型服务器的算力进一步提供算法性能。
除草装置(机器人)的工作方式既可以是边采集图像边进行除草的工作方式,也可以借助无人机航拍以进一步提供除草效率。具体方式为:选择作业区域,无人机根据RTK定位信息,精准采集作业区域的航拍图像,并将采集的图像传输至云端服务器;云端服务器部署已训练的神经网络模型,接收到无人机采集的图像后,根据本发明提出的杂草识别和除草方式智能决策算法,输出除草作业图(weed map)。除草作业图中包含的信息有:各作业区域网格的经纬度、决策的除草方式;若为化学喷施,则进一步输出该网格区域的除草剂信息,以及除草剂用量(根据杂草占比计算);根据除草作业图,除草机器人通过RTK定位信息,移动到需要喷施的作业网格区域进行除草作业。并在作业时根据指定的除草方式通过旋转机构切换相应的执行器。同时,可结合旅行商算法,计算出除草机器人经过所有需除草作业网格区域的最优(短)路径。
本申请实施例提供的除草系统具有如下优点:1.可因地制宜,不同场景下使用不同的除草方式,从而更加适用于自然环境下复杂除草场景;2.识别杂草位置的同时提供了杂草防除精准作业区域的定位,可直接集成至智能除草装备;3.对于化学喷施除草,使用分类神经网络进一步实现了可变量喷施的决策方法;4.便于收集杂草数据用于神经网络模型训练集的扩充或大数据应用;5.基于移动互联网实现杂草防除作业的信息化管理和控制。
需要说明的是,图5所示的除草系统用于执行图2所示的除草方式的确定方法,因此上述除草方式的确定方法中的相关解释说明也适用于该除草系统,此处不再赘述。
本申请实施例还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在程序运行时控制该非易失性存储介质所在设备执行以下除草方式的确定方法:识别目标区域中的杂草和农作物,得到杂草在目标区域中的位置信息以及包含农作物的第一边界框;确定杂草的位置和第一边界框的位置关系;依据位置关系,确定目标区域对应的除草方式。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。