CN113597874B - 一种除草机器人及其除草路径的规划方法、装置和介质 - Google Patents

Abstract

本发明公开了一种除草机器人及其除草路径的规划方法、装置和介质，所述方法包括以下步骤：基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；基于所述杂草目标特征，采用相机内跟踪杂草目标特征，以及多相机间跟踪杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草，从而基于相机内和相机间的跟踪，可靠的记录、追溯杂草的位置，以缓解图像处理延迟带来的有害影响，提高除草的精准度。

Description

一种除草机器人及其除草路径的规划方法、装置和介质

技术领域

本发明实施例涉及除草机器人技术领域，尤其涉及一种除草机器人及其除草路径的规划方法、装置和介质。

背景技术

在倡导环境保护的前提下，大幅增加农作物的产量将是绿色可持续农业的主要任务。大多数有机农场不允许使用化学合成农业杀虫剂、除草剂，田间管理环节仍在使用人工除草，但是人工除草成本非常高。随着我国城镇化发展，田间除草所面临的两大问题：一是从事农业劳动的人员不断减少，用于除草的人力成本不断上升；二是环境保护意识不断提高，各地对除草剂使用量的限制程度不断增加。近年来，人工智能技术、机器人技术的出现为解决以上问题提供了有效途径。现有的物理除草机器人系统，可以成功清除植物行之间的杂草。但是，当杂草位于农作物的茎部时，清除植物茎部附近的杂草这是一项非常具有挑战性的任务。

目前，要准确定位杂草，首先要将杂草与有价值的农作物区分开。基于视觉的分类方法在这一领域已经被证明是有效的。然而视觉这种方法，通常使用复杂的卷积神经网络（CNN）会引入一个长而不确定的时间延迟，导致除草的精度大大降低，无法应用到真的农业场景中，相关研究都处于试验阶段。另一方面，传统的单相机杂草追踪系统由于视场有限，往往不能适应长时间的杂草检测延迟。机器人行走过程中相机视角和视点的变化可能会引起对象外观的显著变化，尤其是对于那些高的杂草而言图像变化较大，传统方法很容易跟丢目标、误伤作物。

发明内容

本发明提供一种除草机器人及其除草路径的规划方法、装置和介质，基于相机内和相机间的跟踪，可靠的记录、追溯杂草的位置，以缓解图像处理延迟带来的有害影响，提高除草的精准度。

为实现上述目的，本发明第一方面实施例提出了一种除草机器人除草路径的规划方法，包括以下步骤：

基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；

基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草。

根据本发明的一个实施例，沿所述除草机器人前进方向上依次间隔布置的第一相机、……、第i相机、……、第N相机；

所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草包括以下步骤：

获取所述第一相机采集的第一图像，调用所述图像分割模型对所述第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；

获取所述第i相机采集的第i图像，根据密度空间聚类方法提取所述第i图像中的目标特征，并与所述第i-1杂草目标特征进行匹配，获取与所述第i-1杂草目标特征对应的第i杂草目标特征，以及对应的杂草标签；

根据所述第i杂草目标特征以及对应的杂草标签，规划所述除草机器人的除草机械臂的除草路径；

依次类推，直至获取所述第N相机采集的第N图像，根据密度空间聚类方法提取所述第N图像中的目标特征，并与第N-1杂草目标特征进行匹配，获取与所述第N-1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；

根据所述第N杂草目标特征以及对应的杂草标签,修正所述除草机器人的除草机械臂的除草路径；

其中，N≥2，1<i≤N，i和N均为正整数；所述第N相机移动至所述第一相机位置的时间、以及所述第一相机至所述第N相机处理图像的时间之和，大于或等于所述除草机器人的除草机械臂摆动到所述第一杂草目标特征对应的杂草的位置的时间。

根据本发明的一个实施例，沿所述除草机器人前进方向上依次间隔布置的第一相机、……、第j相机、……、第N相机；

所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草包括以下步骤：

获取所述第一相机采集的第一图像，调用所述图像分割模型对所述第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；

获取所述第j相机采集的第j图像，通过第j相机重构出杂草的三维场景图，其中，所述第j相机为双目相机、深度相机或者多线激光雷达传感器中的任意一种，三维场景建模使用GNSS接收机卫星定位信息，作物杂草三维场景图都是基于大地坐标系建立的；

将第j-1杂草目标特征以及杂草标签与所述三维场景图中的杂草匹配，然后分离出杂草的三维图，提取作物主茎秆的位置坐标，形成图像模板；

获取所述第j+1相机采集的第j+1图像，根据密度空间聚类方法提取所述第j+1图像中的目标特征，并与所述图像模板进行匹配，获取所述第j+1杂草目标特征以及对应的杂草标签；

根据所述第j+1杂草目标特征以及对应的杂草标签，规划所述除草机器人的除草机械臂的除草路径；

依次类推，直至获取所述第N相机采集的第N图像，根据密度空间聚类方法提取所述第N图像中的目标特征，并与第N-1杂草目标特征进行匹配，获取与所述第N-1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；

根据所述第N杂草目标特征以及对应的杂草标签,修正所述除草机器人的除草机械臂的除草路径；其中，N≥2，1<j≤N，其中，j和N均为正整数；所述第N相机移动至所述第一相机位置的时间、以及所述第一相机至所述第N相机处理图像的时间之和，大于或等于所述除草机器人的除草机械臂摆动到所述第一杂草目标特征对应的杂草的位置的时间。

根据本发明的一个实施例，所述除草机器人除草路径的规划方法还包括：

基于有督导神经网络的训练方法，获取轻量级目标检测器；

在每次获取杂草目标特征以及对应的杂草标签之后，通过轻量级目标检测器重新处理每个相机采集的图像，以验证获取的杂草目标特征以及所述杂草标签是否正确。

根据本发明的一个实施例，沿所述除草机器人前进方向上的尾部设置的相机；

在根据所述第N杂草目标特征以及对应的杂草标签，修正所述除草机器人的除草机械臂的除草路径后包括：

控制所述除草机器人的除草机械臂依据所述除草路径进行除草；

通过所述相机获取除草后的图像，并与所述第一图像进行对比分析，建立评价函数：

，其中，所述第一图像中的杂草的总数量为n1、农作物的总数量为m1，根据所述第一图像和所述除草后的图像获取成功去除杂草的数量为n2、误伤农作物的数量为m2；

依据评价函数S的值调整除草机械臂横摆驱动电机的控制参数。

根据本发明的一个实施例，所述基于神经网络模型训练，获取图像分割模型包括：

在多个不同参数下通过相机采集多个原始图像，其中，所述参数包括作物的生长阶段、光照强度、温度、湿度、土壤类型和采集时间；

对多个所述原始图像按照作物的生长阶段进行分类，并对每个所述原始图像中的作物、杂草和土壤进行打标签，形成标签图像；

将作物的不同生长阶段的原始图像和标签图像拆分为训练集、验证集和测试集；

定义神经网络构架，采用深度学习方法进行训练；

获取作物不同生长阶段的所述图像分割模型。

根据本发明的一个实施例，所述杂草目标特征包括杂草轮廓、颜色、形状、纹理、位置中的一种或几种组合；

所述作物目标特征包括作物轮廓、颜色、形状、纹理、位置中的一种或几种组合；

所述土壤目标特征包括土壤轮廓、颜色、形状、纹理、位置中的一种或几种组合。

为实现上述目的，本发明第二方面实施例提出了一种除草机器人除草路径的规划装置，应用于如前所述的除草机器人除草路径的规划方法，所述装置包括：

模型获取模块，用于基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；

路径规划模块，用于基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草。

为实现上述目的，本发明第三方面实施例还提出了一种除草机器人，包括如前所述的除草机器人除草路径的规划装置；

还包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；存储每一相机采集的图像、图像模板以及三维场景图中对应的坐标信息；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前所述的除草机器人除草路径的规划方法。

为实现上述目的，本发明第四方面实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述的除草机器人自动除草的路径规划方法。

综上所述，根据本发明实施例提出的除草机器人及其除草路径的规划方法、装置和介质，所述方法包括以下步骤：基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；基于所述图像分割模型，采用相机内跟踪，以及多相机间跟踪，规划除草机器人的除草机械臂的除草路径，从而基于相机内和相机间的跟踪，可靠的记录、追溯杂草的位置，以缓解图像处理延迟带来的有害影响，提高除草的精准度。

附图说明

图1是本发明实施例提出的除草机器人除草路径的规划方法的流程图；

图2是本发明实施例提出的除草机器人的结构示意图；

图3是本发明实施例提出的除草机器人的除草机械臂的结构示意图；

图4是本发明实施例提出的除草机器人的除草机械臂的侧视图；

图5是本发明实施例提出的除草机器人除草路径的规划图；

图6是本发明一个实施例提出的除草机器人除草路径的规划方法的流程图；

图7是本发明实施例提出的除草机器人除草路径的规划装置的方框示意图；

图8是本发明实施例提出除草机器人的方框示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

养活日益增长的人口和保护环境是未来农业发展的两大挑战。世界各国纷纷提出并推行的精确农业，也被称为智能农业，将有助于解决了这两个挑战。杂草是与所需的经济作物竞争并降低生产力的植物，它们和农作物争夺水、养分、空间和阳光，导致了作物产量、质量下降。事实上，今天的作物种植做法在很大程度上依赖于统一使用除草剂来控制杂草。在这个范围内，开发农业机器人系统对于精确农业的实现至关重要。但现有技术中，一般采用视觉的分类方法，通过使用复杂的卷积神经网络，这样会引入一个长而不确定的时间延迟，导致除草时，除草相机拍摄图像将图像处理完毕，可能机器人已经走过了除草目标，除草机械臂还未运动到指定位置，从而，大大降低除草的准确率。

另外，现有技术中的目标识别算法，只识别杂草没有跟踪杂草位置变化。并且传统的单个相机目标跟踪通常采用了基于运动的轮廓跟踪器来进行目标跟踪；单相机杂草追踪系统由于视场有限，往往不能适应长时间的杂草检测（图像分割）延迟和机械臂动作延迟。同时，机器人行走过程中由于地面起伏导致底盘颠簸，使相机视角和视点的发生变化，传统方法可能会引起对象外观的显著变化（扭曲、模糊），尤其是对于那些高的杂草而言图像变化较大，很容易跟丢目标、误伤作物。

为解决上述技术问题，本发明实施例提出了一种除草机器人除草路径的规划方法，基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；基于所述杂草目标特征，采用相机内跟踪杂草目标特征，以及多相机间跟踪杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据除草路径进行除草，从而使得除草机械臂可提前运动到指定除草位置，缓解了图像处理延迟带来的有害影响，提高了除草的精准度。

下面来详细介绍本发明实施例提出的除草机器人除草路径的规划方法。图1是本发明实施例提出的除草机器人除草路径的规划方法的流程图。如图1所示，该除草机器人除草路径的规划方法包括：

S101，基于神经网络模型训练，获取图像分割模型，图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；

根据本发明的一个实施例，S101基于神经网络模型训练，获取图像分割模型包括：

在多个不同参数下通过相机采集多个原始图像，其中，参数包括作物的生长阶段、光照强度、温度、湿度、土壤类型和采集时间；对多个原始图像按照作物的生长阶段进行分类，并对每个原始图像中的作物、杂草和土壤进行打标签，形成标签图像；将作物的不同生长阶段的原始图像和标签图像拆分为训练集、验证集和测试集；定义神经网络构架，采用深度学习方法进行训练；获取作物不同生长阶段的图像分割模型。

其中，作物的生长阶段包括苗期、生长期和成熟期，也就是说，可以在相应的光照强度、温度、湿度、土壤类型和采集时间下，分别获取多张苗期的作物以及杂草和土壤的原始图像，多张生长期的作物以及杂草和土壤的原始图像，多张成熟期的作物以及杂草和土壤的原始图像。

下面以苗期的作物以及杂草和土壤的原始图像为例来说，将多张苗期的作物以及杂草和土壤的原始图像进行分类打标签处理形成标签图像，比如土壤标签为0，作物标签为1，杂草标签为2，其中，标签处理可以人工使用标签软件对原始图像打标签处理，分割每一张图片中的作物、杂草和土壤，生产标注图像，即通道灰度图，其灰度值表示其分类类别。接着将多张苗期标签图像以及多张苗期原始图像拆分为训练集、验证集和测试集，并定义神经网络架构采用深度学习方法进行训练；获取苗期作物的图像分割模型。本实施例中组合使用FCN、U-NET、Deeplab v3+三种深度学习架构进行训练，以获取苗期作物的图像分割模型，其中，三种深度学习架构的配置参数包括学习率、学习率衰减、处理批量大小、需要使用的GPU数量，然后启动多GPU训练，训练过程中定期报告准确性和Jaccard指数，并存储验证集中性能最佳的模型权重文件，针对苗期作物选出图像分割精度最高的网络架构。在实际运行时，可以在除草机器人上安装一个带GPU设备的边缘计算机，安装Ubuntu系统和ROS开发环境，新建图像实时语义分割的ROS节点，从而，部署在边缘计算机的模型在线运行，实现实时的作物、杂草的分割。

其中，对于生长期作物的图像分割模型的获取、成熟期作物的图像分割模型的获取可以参考苗期作物的图像分割模型的获取过程。此处不再赘述。

S102，基于杂草目标特征，采用相机内跟踪杂草目标特征，以及多相机间跟踪杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使机械臂根据除草路径进行除草。

其中，相机内跟踪是指，相机本身对相机拍摄的图像中的杂草、土壤和作物进行识别。多相机间跟踪是指，初始的相机基于图像分割模型对拍摄的图像中的杂草、土壤和作物进行识别，后一相机跟踪前一相机识别的结果对自身拍摄的图像进行杂草、土壤和作物的识别，最终根据识别的杂草特征规划除草机器人的除草机械臂的除草路径，由于后一相机跟踪前一相机的识别结果，从而，可以提前预测除草机械臂的除草路径，使得除草机器人的除草机械臂提前摆动到除草位置，缓解图像处理延迟带来的有害影响，提高了除草的精准度。

下面以具体实施例来对步骤S102进行解释说明。

根据本发明的一个实施例，沿所述除草机器人前进方向上依次间隔布置的第一相机、……、第i相机、……、第N相机；

所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草包括以下步骤：

获取第一相机采集的第一图像，调用图像分割模型对第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；获取第i相机采集的第i图像，根据密度空间聚类方法提取第i图像中的目标特征，并与第i-1杂草目标特征进行匹配，获取与第i-1杂草目标特征对应的第i杂草目标特征，以及对应的杂草标签；

根据第i杂草目标特征以及对应的杂草标签，规划除草机器人的除草机械臂的除草路径；

依次类推，直至获取第N相机采集的第N图像，根据密度空间聚类方法提取第N图像中的目标特征，并与第N-1杂草目标特征进行匹配，获取与第N-1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；

根据第N杂草目标特征以及对应的杂草标签，修正除草机器人的除草机械臂的除草路径；

其中，N≥2，1<i≤N，i和N均为正整数；第N相机移动至第一相机位置的时间、以及第一相机至第N相机处理图像的时间之和，大于或等于除草机器人的除草机械臂摆动到第一杂草目标特征对应的杂草的位置的时间。

具体来说，以N为3来说，如图2至图5所示，其中，图2中的向左的箭头表示机器人前进的方向，第一相机1采集的第一图像，调用图像分割模型对第一图像进行识别和分割（其中，可通过一轻量级目标检测器来对作物的种类和生长阶段进行识别，从而调用合适的图像分割模型），生成第一杂草目标特征及其杂草标签，控制除草机器人的除草机械臂4进行启动，接着获取第二相机2采集的第二图像，根据密度空间聚类方法提取第二图像中的目标特征，并与第一杂草目标特征进行匹配，获取与第一杂草目标特征对应的第二杂草目标特征，以及对应的杂草标签；根据第二杂草目标特征以及对应的杂草标签，规划除草机器人的除草机械臂的除草路径；此时，除草机械臂4已经基本到达预设位置；接着获取第三相机3采集的第三图像，根据密度空间聚类方法提取第三图像中的目标特征，并与第二杂草目标特征进行匹配，获取与第二杂草目标特征对应的第三杂草目标特征，以及对应的杂草标签；根据第三杂草目标特征以及对应的杂草标签，修正除草机器人的除草机械臂的除草路径；从而，当第三相机3移动到第一相机1的位置时，除草机器人的除草机械臂4已经提前做好了相应的准备，仅需要微调，就可以进行除草，避免了仅有一个相机采集图像，并通过模型识别造成的时间延迟问题，使得机器人走过了，除草机械臂才到达预设位置，造成对作物的误伤。

其中，杂草目标特征可以为杂草的轮廓、颜色、大小、坐标中的一种或几种组合。相机的个数N可以根据第N相机随除草机器人移动至第一相机位置的时间（即与除草机器人的行走速度相关）、以及第一相机至第N相机处理图像的时间之和，大于或等于除草机器人的除草机械臂摆动到第一杂草目标特征对应的杂草的位置的时间。进而，使得除草机械臂可以提前摆动到预设位置，并根据后续相机的图像处理结果微调整除草机械臂，更精准的进行除草。

需要说明的是，第一相机1至第三相机3还可以是安装在无人机上的相机，不限于安装在除草机器人上，无人机与机器人之间可通过无线通信的方式来传递图像信息。

在前述实施例中，第一相机可以为RGB+NIR相机，第二相机可以为普通的RGB相机，第三相机为普通RGB相机。

根据本发明的一个实施例，沿除草机器人前进方向上依次间隔布置的第一相机、……、第j相机、……、第N相机；

所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草包括以下步骤：

获取第一相机采集的第一图像，调用图像分割模型对第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；

获取第j相机采集的第j图像，可以基于SLAM (simultaneous localization andmapping，同步定位与建图)的三维重建的方式通过第j相机重构出杂草的三维场景图，其中，所述第j相机为双目相机、深度相机或者多线激光雷达传感器中的任意一种；当第j相机为双目相机时，三维重建的方式可以为视觉里程计的方法，当第j相机为激光雷达传感器时，三维重建的方式可以为激光雷达三维场景重构的方法。

将第j-1杂草目标特征以及杂草标签与三维场景图中的杂草匹配，然后分离出杂草的三维图，提取作物主茎秆的位置坐标，形成图像模板；

获取第j+1相机采集的第j+1图像，根据密度空间聚类方法提取第j+1图像中的目标特征，并与图像模板进行匹配，获取第j+1杂草目标特征以及对应的杂草标签；

根据第j+1杂草目标特征以及对应的杂草标签，规划除草机器人的除草机械臂的除草路径；

依次类推，直至获取第N相机采集的第N图像，根据密度空间聚类方法提取第N图像中的目标特征，并与第N-1杂草目标特征进行匹配，获取与第N-1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；

根据第N杂草目标特征以及对应的杂草标签，修正除草机器人的除草机械臂的除草路径；其中，N≥2，1<j≤N，其中，j和N均为正整数；第N相机移动至第一相机位置的时间、以及第一相机至第N相机处理图像的时间之和，大于或等于除草机器人的除草机械臂摆动到第一杂草目标特征对应的杂草的位置的时间。

在另外的实施例中，仍以N为3为例，其中可以根据第二相机2采集的图像对土壤、杂草和作物重构三维场景图，接着第三相机3采集的图像可以依据三维场景图中的杂草的特征进行匹配，使得最终获取的除草机械臂的除草路径更加精准。因为机器人在行走过程中相机视角和视点的变化可能会引起对象外观的显著变化，尤其是对于高的杂草而言图像变化较大，容易跟丢目标。本实施例提出的视觉里程计方法在构建作物/杂草/土壤的三维场景结构，然后将二维图像分割结果和三维场景图进行匹配，以便在实现准确的目标跟踪和杂草剔除。

在前述实施例中，第一相机可以为RGB+NIR相机，第二相机可以为带有IMU惯性测量单元的双目相机，第三相机为普通RGB相机。相机距离地面的距离为80cm，地面分辨率约为3像素/cm，系统下田工作之前，将所有的相机进行标定和校准，补偿镜头带来的畸变。为了相机免受阳光强度变化的影响，可以在每个相机旁边安装补光灯。

需要说明的是，在前述两个实施例的基础上，除草机械臂根据规划的除草路径执行动作，如图3和图4所示，该除草机器人的除草机械臂4包括第一电机10，第二电机13、第三电机15和第四电机17，以及第一转动关节11和第二转动关节19，以及大臂12，小臂16，丝杠和导轨14，割刀18。

该控制流程具体如下：

步骤1除草机器人下田以后调节第一电机10角度，大臂12旋转，检测第二转动关节19是否处于两行作物之间；

步骤2调节第二电机13，降低割刀18的高度；

步骤3除草机器人启动行走，第四电机17启动旋转；

步骤4机械臂控制器接受规划的轨迹；

步骤5坐标变换，将杂草路径转换为第二转动关节19的摆动目标轨迹；

步骤6计算第二转动关节19的实际角度与目标轨迹点的位置偏差；

步骤7偏差作为PID控制算法的输入，计算出第三电机15的控制指令值；

步骤8控制器输出指令信号，第三电机15驱动机械臂的小臂16在两行作物之间摆动；

步骤9摆动轨迹跟踪规划的路径；

步骤10小臂16第二转动关节19处角度传感器实时反馈小臂16的摆动角度。

可以理解的是，当第二相机为双目相机，在第二实施例中构建三维场景图时，除草机器人上安装了GNSS卫星定位接收机，除草机器人在大地坐标系中的位置已知，由于第二相机在机器人上的安装位置是已知的，三维场景建模使用了GNSS接收机卫星定位信息，作物杂草三维空间模型都是基于大地坐标系的，根据机械臂的结构，可以将作物杂草三维结构都换算到机械臂第二转换关节19坐标系之下，第二转换关节19处安装有角度反馈传感器，因此割刀18在坐标系之下的位置已知，从而使得割刀18的位置与杂草和作物的位置均统一在同一坐标系中。

另外，需要说明的是，如图5所示，步骤5中规划路径转换为小臂16摆动目标轨迹，具体方法如下：

除草机器人行驶速度v由GNSS接收机实时测得，杂草C11在第二转换关节19坐标系下的位置为（x11,y11），去除杂草C11时小臂转动角β=arcsin(x11/R); R表示小臂16的长度；杂草C11到小臂16运动圆弧上投影距离L=y11-Rcosβ;则可计算出到达时间间隔t1=L/v;设当前时刻为t，机械臂小臂转动到位置β的时刻为t+t1；以此类推，计算出小臂摆动目标轨迹(摆动角和时间历程曲线)；然后计算第二转动关节19的实际角度与目标轨迹点的位置偏差；偏差作为PID控制算法的输入，计算出电机控制指令值；控制器输出指令信号，第三电机15驱动机械臂的小臂16在在两行作物之间摆动。

第N个相机的图像与N-1相机特征匹配后，机械臂小臂16按照坐标转换后的小臂摆动目标轨迹执行动作。

基于此，通过三维空间感知的传感器（双目相机、深度相机或者多线激光雷达传感器），并与并与IMU惯性测量单元、GNSS接收机三者的数据进行融合，重构的三维场景，大大提高了机器人系统对杂草的感知精度。

本发明实施例中多相机杂草跟踪系统中，首先使用深度神经网络模型对第一相机捕获的图像分割处理，得到了机器人前方视角中精准的杂草分割结果，接下来利用多摄像机之间位置信息的关联（多相机位置之间的位置坐标和变化矩阵是已知的），和基于多传感器的（IMU惯性测量单元、双目相机、GNSS接收机）视觉里程计方法得到杂草的三维空间位置信息，精确构建作物/杂草/土壤的三维场景结构，然后将二维图像分割结果和三维场景图进行匹配，将第一相机的检测结果扩展到多相机检测方法中，确定包含作物茎秆位置的图像模板，并不断更新模板。基于图像模板中杂草的茎秆坐标，以机械臂能耗最小为目标，规划除草运动轨迹。提升了除草精度。其中，三维场景图可以为三维场景点云图。

其中，多相机跟踪系统中，跟踪的目标可以为一株杂草，也可以为多株杂草，本发明对此不作具体限制。

如图6所示，在该实施例中，具体的控制算法如下：第一相机以及可控光源启动，对田间图像采集，进行图像处理，并对作物、杂草的图像在线实时分割，对作物、杂草三维重构，采用相机内跟踪、相机间跟踪，控制算法预测触发时间和刀盘位置，调节除草机械臂的方位角，调节割草电机的倾斜角，估算出除草刀片与杂草的距离，触发割刀切除杂草。其中，除草执行单元为除草机械臂，割草电机为第四电机。

根据本发明的一个实施例，除草机器人除草路径的规划方法还包括：

基于神经网络模型训练，获取另一轻量级目标检测器；

在每次获取杂草目标特征以及对应的杂草标签之后，通过轻量级目标检测器重新处理每个相机采集的图像，以验证获取的杂草目标特征以及杂草标签是否正确。

需要说明的是，轻量级目标检测器相对于图像分割模型运行速度快，处理图像速度快（此处的轻量级目标检测器与前述的轻量级目标检测器不同），进而，当第一相机采集图像，并通过图像分割模型进行分割识别之后，还可以通过轻量级目标检测器进行验证，如果图像分割模型处理的结果与轻量级目标检测器检测结果一致，那么说明图像分割模型处理的结果无误，可以传送至下一相机作为分类标准，接着控制除草机械臂进行除草，如果图像分割模型处理的结果与轻量级目标检测器检测结果不一致，那么说明图像分割模型处理的结果不准确，需要停机检修等工作，防止分类错误而损伤到作物。

根据本发明的一个实施例，沿所述除草机器人前进方向上的尾部设置的相机；

在根据第N杂草目标特征以及对应的杂草标签，修正除草机器人的除草机械臂的除草路径后包括：

控制除草机器人的除草机械臂依据除草路径进行除草；

通过相机获取除草后的图像，并与第一图像进行对比分析，建立评价函数：

，其中，第一图像中的杂草的总数量为n1、农作物的总数量为m1，根据第一图像和除草后的图像获取成功去除杂草的数量为n2、误伤农作物的数量为m2。

依据评价函数S的值调整除草机械臂横摆驱动电机的控制参数。

其中，摄像头安装在除草机器人的尾部。根据评价函数S的值，可以知道除草的质量，评价函数S的值越大，说明除草的质量越好，评价函数S的值越小，表示除草的作业效果不理想，需要减低机器人的行驶速度，同时，调节除草机械臂中的电机的控制参数，提高响应速度。

根据本发明的一个实施例，杂草目标特征包括杂草轮廓、颜色、形状、纹理、位置中的一种或几种组合；

作物目标特征包括作物轮廓、颜色、形状、纹理、位置中的一种或几种组合；

土壤目标特征包括土壤轮廓、颜色、形状、纹理、位置中的一种或几种组合。

需要说明的是，在通过图像分割模型时，还可以识别土壤目标特征和作物目标特征，根据土壤目标特征可以调整除草机械臂的高低，根据作物目标特征可以最终建立评价函数S。

图7是本发明实施例提出的除草机器人除草路径的规划装置的方框示意图。该装置应用于如前的除草机器人除草路径的规划方法，如图7所示，装置包括：

模型获取模块101，用于基于神经网络模型训练，获取图像分割模型，图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；

路径规划模块102，用于基于杂草目标特征，采用相机内跟踪杂草目标特征，以及多相机间跟踪杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草。

根据本发明的一个实施例，沿所述除草机器人前进方向上依次间隔布置的第一相机、……、第i相机、……、第N相机；

路径规划模块102包括：

第一杂草目标特征提取模块，用于获取第一相机采集的第一图像，调用图像分割模型对第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；

第i杂草目标特征提取模块，用于获取第i相机采集的第i图像，根据密度空间聚类方法提取第i图像中的目标特征，并与第i-1杂草目标特征进行匹配，获取与第i-1杂草目标特征对应的第i杂草目标特征，以及对应的杂草标签；

第i路径规划模块，用于根据第i杂草目标特征以及对应的杂草标签，规划除草机器人的除草机械臂的除草路径；

第N杂草目标特征提取模块，直至获取第N相机采集的第N图像，根据密度空间聚类方法提取第N图像中的目标特征，并与第N-1杂草目标特征进行匹配，获取与第N-1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；

第N路径规划模块，根据第N杂草目标特征以及对应的杂草标签,修正除草机器人的除草机械臂的除草路径；

其中，N≥2，1<i≤N，i和N均为正整数；第N相机移动至第一相机位置的时间、以及第一相机至第N相机处理图像的时间之和，大于或等于除草机器人的除草机械臂摆动到第一杂草目标特征对应的杂草的位置的时间。

根据本发明的一个实施例，沿所述除草机器人前进方向上依次间隔布置的第一相机、……、第j相机、……、第N相机；

路径规划模块102包括：

第一杂草目标特征提取模块，获取第一相机采集的第一图像，调用图像分割模型对第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；

三维场景图获取模块，用于获取第j相机采集的第j图像，通过第j相机重构出杂草的三维场景图；

图像模板形成模块，用于将第j-1杂草目标特征以及杂草标签与三维场景图中的杂草匹配，形成图像模板；

第j+1杂草目标特征提取模块，用于获取第j+1相机采集的第j+1图像，根据密度空间聚类方法提取第j+1图像中的目标特征，并与图像模板进行匹配，获取第j+1杂草目标特征以及对应的杂草标签；

第j+1路径规划模块，用于根据第j+1杂草目标特征以及对应的杂草标签，规划除草机器人的除草机械臂的除草路径；

第N杂草目标特征提取模块，直至获取第N相机采集的第N图像，根据密度空间聚类方法提取第N图像中的目标特征，并与第N-1杂草目标特征进行匹配，获取与第N-1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；

第N路径规划模块，根据第N杂草目标特征以及对应的杂草标签,修正除草机器人的除草机械臂的除草路径；其中，N≥2，1<j≤N，其中，j和N均为正整数；第N相机随除草机器人移动至第一相机位置的时间、以及第一相机至第N相机处理图像的时间之和，大于或等于除草机器人的除草机械臂摆动到第一杂草目标特征对应的杂草的位置的时间。

根据本发明的一个实施例，除草机器人除草路径的规划装置还包括：

目标检测器获取模块，用于基于神经网络模型训练，获取轻量级目标检测器；

验证模块，用于在每次获取杂草目标特征以及对应的杂草标签之后，通过轻量级目标检测器重新处理每个相机采集的图像，以验证获取的杂草目标特征以及杂草标签是否正确。

根据本发明的一个实施例，沿所述除草机器人前进方向上的尾部设置的相机；

该装置还包括：

控制模块，用于控制除草机器人的除草机械臂依据除草路径进行除草；

评价模块，用于通过摄像头获取除草后的图像，并与第一图像进行对比分析，建立评价函数：

，其中，第一图像中的杂草的总数量为n1、农作物的总数量为m1，根据第一图像和除草后的图像获取成功去除杂草的数量为n2、误伤农作物的数量为m2；

依据评价函数S的值调整除草机械臂横摆驱动电机的控制参数。

根据本发明的一个实施例，图像分割模型获取模块包括：

采集模块，用于在多个不同参数下通过相机采集多个原始图像，其中，参数包括作物的生长阶段、光照强度、温度、湿度、土壤类型和采集时间；

标签图像生成模块，用于对多个原始图像按照作物的生长阶段进行分类，并对每个原始图像中的作物、杂草和土壤进行打标签，形成标签图像；

分类模块，用于将作物的不同生长阶段的原始图像和标签图像拆分为训练集、验证集和测试集；

训练模块，用于定义神经网络构架，采用深度学习方法进行训练；获取作物不同生长阶段的图像分割模型。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

图8是本发明实施例提出除草机器人的方框示意图。如图8所示，该除草机器人400包括如前的除草机器人除草路径的规划装置；还包括：

一个或多个处理器401；

存储装置402，用于存储一个或多个程序；存储每一相机采集的图像、图像模板以及三维场景图中对应的坐标信息；

当一个或多个程序被一个或多个处理器401执行，使得一个或多个处理器401实现如前所述的除草机器人及其除草路径的规划方法。

如图8所示，该除草机器人400包括处理器401、存储装置402、输入装置403和输出装置404；设备中处理器401的数量可以是一个或多个，图8中以一个处理器401为例；设备中的处理器401、存储装置402、输入装置403和输出装置404可以通过总线或其他方式连接，图8中以通过总线连接为例。

存储装置402作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中除草机器人及其除草路径的规划方法对应的程序指令。处理器401通过运行存储在存储装置402中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的除草机器人及其除草路径的规划方法。

存储装置402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置402可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置403可用于接收输入的指令请求，以及产生与设备的设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。

本发明实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器401执行时实现如前所述的除草机器人及其除草路径的规划方法。

也就是说，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令可以执行本发明任意实施例所提供的除草机器人及其除草路径的规划方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

综上所述，根据本发明实施例提出的除草机器人及其除草路径的规划方法、装置和介质，所述方法包括以下步骤：基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；基于所述图像分割模型，采用相机内跟踪，以及多相机间跟踪，规划除草机器人的除草机械臂的除草路径，从而基于相机内和相机间的跟踪，可靠的记录、追溯杂草的位置，以缓解图像处理延迟带来的有害影响，提高除草的精准度。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种除草机器人除草路径的规划方法，其特征在于，包括以下步骤：

基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；

基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草；

沿所述除草机器人前进方向上依次间隔布置的第一相机、……、第i相机、……、第N相机；

所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草包括以下步骤：

获取所述第一相机采集的第一图像，调用所述图像分割模型对所述第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；

获取所述第i相机采集的第i图像，根据密度空间聚类方法提取所述第i图像中的目标特征，并与所述第i-1杂草目标特征进行匹配，获取与所述第i-1杂草目标特征对应的第i杂草目标特征，以及对应的杂草标签；

根据所述第i杂草目标特征以及对应的杂草标签，规划所述除草机器人的除草机械臂的除草路径；

依次类推，直至获取所述第N相机采集的第N图像，根据密度空间聚类方法提取所述第N图像中的目标特征，并与第N-1杂草目标特征进行匹配，获取与所述第N-1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；

根据所述第N杂草目标特征以及对应的杂草标签，修正所述除草机器人的除草机械臂的除草路径；

其中，N≥2，1<i≤N，i和N均为正整数；所述第N相机移动至所述第一相机位置的时间、以及所述第一相机至所述第N相机处理图像的时间之和，大于或等于所述除草机器人的除草机械臂摆动到所述第一杂草目标特征对应的杂草的位置的时间。

2.根据权利要求1所述的除草机器人除草路径的规划方法，其特征在于，可替换的为，沿所述除草机器人前进方向上依次间隔布置的第一相机、……、第j相机、……、第N相机；

所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草包括以下步骤：

获取所述第一相机采集的第一图像，调用所述图像分割模型对所述第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；

获取所述第j相机采集的第j图像，通过第j相机重构出杂草的三维场景图，其中，所述第j相机为双目相机、深度相机或者多线激光雷达传感器中的任意一种；

将第j-1杂草目标特征以及杂草标签与所述三维场景图中的杂草匹配，然后分离出杂草的三维图，提取作物主茎秆的位置坐标，形成图像模板；

获取所述第j+1相机采集的第j+1图像，根据密度空间聚类方法提取所述第j+1图像中的目标特征，并与所述图像模板进行匹配，获取所述第j+1杂草目标特征以及对应的杂草标签；

根据所述第j+1杂草目标特征以及对应的杂草标签，规划所述除草机器人的除草机械臂的除草路径；

依次类推，直至获取所述第N相机采集的第N图像，根据密度空间聚类方法提取所述第N图像中的目标特征，并与第N-1杂草目标特征进行匹配，获取与所述第N-1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；

根据所述第N杂草目标特征以及对应的杂草标签,修正所述除草机器人的除草机械臂的除草路径；其中，N≥2，1<j≤N，其中，j和N均为正整数；所述第N相机移动至所述第一相机位置的时间、以及所述第一相机至所述第N相机处理图像的时间之和，大于或等于所述除草机器人的除草机械臂摆动到所述第一杂草目标特征对应的杂草的位置的时间。

3.根据权利要求1或2所述的除草机器人除草路径的规划方法，其特征在于，还包括：

基于有督导神经网络的训练方法，获取轻量级目标检测器；

在每次获取杂草目标特征以及对应的杂草标签之后，通过轻量级目标检测器重新处理每个相机采集的图像，以验证获取的杂草目标特征以及所述杂草标签是否正确。

4.根据权利要求1或2所述的除草机器人除草路径的规划方法，其特征在于，沿所述除草机器人前进方向上的尾部设置的相机；

在根据所述第N杂草目标特征以及对应的杂草标签，修正所述除草机器人的除草机械臂的除草路径后包括：

控制所述除草机器人的除草机械臂依据所述除草路径进行除草；

通过所述相机获取除草后的图像，并与所述第一图像进行对比分析，建立评价函数：

，其中，所述第一图像中的杂草的总数量为n1、农作物的总数量为m1，根据所述第一图像和所述除草后的图像获取成功去除杂草的数量为n2、误伤农作物的数量为m2；

依据评价函数S的值调整除草机械臂驱动电机的控制参数。

5.根据权利要求1所述的除草机器人除草路径的规划方法，其特征在于，所述基于神经网络模型训练，获取图像分割模型包括：

在多个不同参数下通过相机采集多个原始图像，其中，所述参数包括作物的生长阶段、光照强度、温度、湿度、土壤类型和采集时间；

对多个所述原始图像按照作物的生长阶段进行分类，并对每个所述原始图像中的作物、杂草和土壤进行打标签，形成标签图像；

将作物的不同生长阶段的原始图像和标签图像拆分为训练集、验证集和测试集；

定义神经网络构架，采用深度学习方法进行训练；

获取作物不同生长阶段的所述图像分割模型。

6.根据权利要求1所述的除草机器人除草路径的规划方法，其特征在于，

所述杂草目标特征包括杂草轮廓、颜色、形状、纹理、位置中的一种或几种组合；

所述作物目标特征包括作物轮廓、颜色、形状、纹理、位置中的一种或几种组合；

所述土壤目标特征包括土壤轮廓、颜色、形状、纹理、位置中的一种或几种组合。

7.一种除草机器人除草路径的规划装置，其特征在于，应用于如权利要求1-6任一项所述的除草机器人除草路径的规划方法，所述装置包括：

模型获取模块，用于基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；

路径规划模块，用于基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草。

8.一种除草机器人，其特征在于，包括如权利要求7所述的除草机器人除草路径的规划装置；

还包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，存储每一相机采集的图像、图像模板以及三维场景图中对应的坐标信息；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的除草机器人除草路径的规划方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的除草机器人除草路径的规划方法。

Images