CN117115769A - 一种基于语义分割网络的植株检测与定位方法 - Google Patents

Abstract

本发明公开了一种基于语义分割网络的植株检测与定位方法，用于改善传统植株检测方法识别率低、植株位置测量不准确的问题。主要包括以下步骤：使用快速标定法标定相机的安装姿态，采集自然环境条件下幼苗期的作物幼苗与杂草图像，预处理图像，导入预训练后的语义分割网络获取苗与杂草的掩码图像，通过区域生长算法分别计算出苗和杂草在像素坐标系下的质心坐标，采用投影变换法计算出空间下苗和杂草的3D位置，算出刀苗距传输给植保机。本发明植株识别准确率高，定位准确。

Description

一种基于语义分割网络的植株检测与定位方法

技术领域

本发明涉及智能农业机器人，如植保作业机器人控制领域，是一种基于语义分割网络的植株检测与定位方法。

背景技术

随着科技的不断发展和农业技术现代化的要求提高，农业领域对于杂草防治技术的需求也日益增加。杂草作为农业生产过程中的三害之一，不仅会与作物争夺水分和养分，还会促进病虫害滋生，给作物的生长和生产带来负面影响，造成不同程度的损失。

目前，杂草的防除方法主要包括人工除草、化学除草和机械除草等。随着智能机器人技术的发展，使用植保作业机器人进行自主精准除草能够显著提高劳动生产率，而且极大地减少农药使用量。根据末端执行器工作模式的不同，植保机器人或以作物为检测目标，或以杂草为检测目标。由于杂草与作物的形状都具有不规则性，因此，基于视觉方法的植株(包括杂草与作物)准确识别与定位是核心技术难题。

传统植株检测方法主要基于几何特征，在正确率和效率方面难以满足实际需求。随着深度学习的迅猛发展，将深度学习应用于植株检测中，可以提供相对于传统方法更准确、更快速的结果。

深度学习是一种基于人工神经网络的机器学习技术，通过构建多层神经网络结构，模仿人脑的工作原理进行学习和推理。在植株检测中，深度学习算法可以通过训练大量的图像数据，学习和提取杂草的特征，从而实现对杂草的准确检测和定位。

目前关于植株检测和定位技术还有以下问题：

(1)由于植株形状各异，使用经典的目标检测算法(如YOLOX)计算出的植株根部的坐标不够准确，导致后续定位精度下降；

(2)现有的一些方法使用深度相机可以直接测得植株到相机的距离，但由于植株叶片存在遮挡，所测得的距离不是相机到植株根部的距离，导致后续刀苗距的计算出现较大的误差。

发明内容

本发明提出了一种基于区域生长和语义分割网络相结合的植株检测与定位方法。

本发明技术如下所述：

步骤1，通过快速标定法标定出相机的安装姿态θ(指相机的俯仰角的余角，忽略偏航角和横滚角)。

步骤2，通过单目相机采集农作物幼苗与杂草的图像，输入到语义分割网络中推理，得到苗和杂草的掩码图像，再转换为RGB格式，通过区域生长算法结合图像矩为苗和杂草所属连通域标号并算出每个连通域质心的像点坐标。

步骤3，根据针孔相机模型建立相机坐标系O_c-X_cY_cZ_c以及绕相机坐标系X轴逆时针旋转θ度后的坐标系O_m-X_mY_mZ_m，通过已经标定好的相机内参将步骤2中算出的苗和杂草的质心坐标转换为归一化像点坐标。

步骤4，根据相机安装角度，使用绕X轴旋转的旋转矩阵将苗和杂草的归一化像点坐标转换到O_m-X_mY_mZ_m坐标系中，得到物点在空间中的参数化表达式。

步骤5，根据相机高度不变假设，增加地面约束，联立地面约束和物点在空间中的参数化表达式可以算出苗和杂草在相机坐标系下的3D位置，根据3D位置可计算出刀苗距。刀苗距实时地传输给植保作业机器人系统，用于刀具转速的控制。

根据上述方案的本发明，由步骤1可快速标定出相机的安装角度θ：通过相机内参在图像中标记出主点坐标，在相机前的地面上摆放一个点状标志物p，通过调整其位置使其成像于像面主点。根据几何信息能够快速的算出相机的安装角度，原理简单，计算方便。

根据上述方案的本发明，相较基于目标识别框的植株检测方法(如YOLOX)，基于语义分割网络的方法能够更好的划分杂草区域和苗的区域。

根据上述方案的本发明，精准的划分苗和杂草的区域有助于计算出更精确的质心坐标，从而提高苗和杂草的定位精度。

根据上述方案的本发明，将语义分割网络输出的掩码图像转换为RGB格式，所述矩阵形式的二分类图像，使用区域生长算法分别计算出苗和杂草的一阶图像矩，进而算出二者质心的像点坐标。计算方法简单、效率高，可直接作为后续方案的输入。

根据上述方案的本发明，由步骤2可得农作物苗和杂草的像点坐标，根据标定好的相机内参可以得到其归一化像点坐标。

根据上述方案的本发明，根据相机安装角度θ，使用绕X轴旋转的旋转矩阵将苗和杂草的归一化像点坐标转换到O_m-X_mY_mZ_m坐标系中，得到物点在空间中的参数化表达式。

根据上述方案的本发明，假设机器人作业时匀速向前运动，相机高度不变。

根据上述方案的本发明，由相机高度不变假设添加地面约束，根据物点在空间中的参数化表达式联立地面约束解出物点尺度参数z_c，据此可以得到苗和杂草在相机坐标系下的空间位置。

根据上述方案的本发明，所述尺度信息可以计算出刀苗距，下位机通过刀苗距实时的计算锄刀的转速，控制锄刀除草。

与传统的植株检测与定位方法相比，本发明具有以下优势：

(1)使用单目相机作为图像采集设备，成本低，且镜头斜向下，通过快速标定法能够方便的确定相机的安装角度；

(2)使用基于区域生长和语义分割结合的植株检测方法，相比基于目标框的检测方法(如YOLOX)，本方法可以实施像素级别的区域划分，质心的计算更加精确；

(3)本发明所提出的方法同时适用于作物苗和杂草检测与定位，用户可以根据实际情况自行选择；

(4)传统的单目相机由于缺少尺度信息不能够直接测量出苗和杂草的空间位置，根据机器人作业时高度不变假设，增加地面约束，通过相机投影约束与地面约束的联立可以在地平面唯一的解出苗或杂草的3D位置坐标，方法简单、计算量小且不受遮挡影响。

附图说明

图1为本发明流程图。

图2为语义分割网络结构图。

图3为农田采集图像。

图4为解编码网络植株检测结果图。

图5为计算苗与杂草质心图。

图6为相机安装角度标定图。

图7为苗与杂草位置计算示意图。

具体实施方式

应该指出，以下详细说明都是针对性的，旨在对本发明提供进一步的说明。除非另有特指，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤﹑操作、器件、组件和/或它们的组合；

正如背景技术所介绍的，现有技术中存在不足，为了解决如上的技术问题，本发明的一种典型实施方法，如图1所示，主要步骤如下：

步骤1，在植保作业机器人上安装固定相机并标定相机的安装角度θ，具体方法如下：

(1)以前向俯视姿态安装相机，俯角θ根据实际作业要求确定。方位与横滚姿态与植保机器人平台一致(即相对方位与横滚角为零)；

(2)如图2所示，基于OpenCV在单目相机图像中标记出一个十字准星作为主点的位置，主点的位置对于已标定相机为已知量；

(3)移动点状标志物p，使其像点与图像中的十字准星重合，测量出此时相机与地面的高度H和标志物到相机光心的水平距离L，根据几何关系可以计算出当前相机的俯仰角的余角，即相机的安装角度；

步骤2，实时进行植株检测并计算杂草和苗的质心坐标，具体方法如下：

(1)实时采集农田中苗与杂草的图像，如图4所示。

(2)预处理图像，对图像进行尺寸调整，以适应植株检测系统所需的特定尺寸要求。将原始图像信息转换为32位浮点型数据格式，以便进行进一步的处理和分析。对原始图像的三通道像素顺序进行调整，再归一化像素值，以满足系统所要求的像素格式。

(3)将单目相机采集区域视频信息送入工控机，将采集到的图像逐帧输入到预训练完成的语义分割网络中，网络如图3所示，通过语义分割网络区分杂草与苗；

在深度学习网络中，针对二分类问题存在多种可应用的网络结构。根据本发明对比多种经典语义分割网络后的选择，优先采用速度快且精度高的对称结编码网络(ESNet)，以满足工程实际需求。

相较于其他网络，使用ESNet进行植株检测，输出的结果是杂草与苗二分类的掩码图像，经过转换后，可以得到精确的苗和杂草在图像中的区域划分。对比YOLOX植株检测的结果，后者输出检测的目标框，而所述网络输出像素级别的分类结果。像素级的区域划分使得后续的质心计算更加准确。

(4)在深度学习网络中，将原始图像输入后，以二分类掩码图像的形式输出预测结果。该二分类掩码图像包含了农作物幼苗和杂草的信息，但肉眼无法直接分辨具体信息，并且掩码信息不能直接用于计算苗和杂草的质心。因此，需要将掩码图像转换为RGB的形式，以进一步解析图像，生成可视化图像用于后续处理。示例如图5所示。如图5所示可视化图像，2号区域区域表征农作物幼苗，1号和3号区域表征杂草，其他区域表征土壤。为了解决由强光可能对画面产生的影响，对于语义分割得到的图像进行了简单的降噪处理，以保留所需的农作物苗和杂草的闭合轮廓。

(5)遍历分割后图像中苗的区域和杂草的区域，根据区域生长算法计算每块连通域的一阶图像矩，进而算出质心坐标。

(6)根据区域对苗和杂草进行序号标定，为满足植保作业机器人在真实除草作业时的情况，即植保作业机器人会优先对距离最近的苗周围除草，因此考虑在一帧图像内保留所有的杂草质心坐标，但只保留一个苗的质心坐标，要求此苗质心的y坐标在当前图像帧下数值最大，如图6所示，至此植株检测部分结束。

在真实农田环境作业时，植保作业机器人需要根据苗的空间位置和杂草的空间位置去除苗周围的杂草。通过工业相机能够实时获取作业区域苗和杂草的信息，但由于苗和杂草的形状不规则，时常发生遮挡情况，因此直接使用带深度的相机(如RealSense D435)测量苗和杂草质心坐标的深度值，不能准确的计算出苗和杂草植株根部的位置，给后续除草工作带来困难。

针对以上问题，本发明提出了一种利用投影变换确定农作物苗和杂草空间位置的方法。

步骤3，坐标转换，具体方法如下：

(1)通过相机内参可以将像点坐标(u,v)转换为归一化像点坐标(x_n,y_n)。

(2)根据归一化像点坐标描述物点p的参数化形式(x_c,y_c,z_c)。

(3)联立式(2)、(3)，确定像点坐标(u,v)到相机坐标系下物点坐标的转换关系。

上式中，z_c为相机坐标系下苗和杂草对应3D点z轴的数值，为待确定参数。

步骤4，求解z_c，得到苗和杂草在空间中的位置，具体方法如下：

(1)如图七示例所示，根据相机的安装姿态θ，可以将原始的相机坐标系O_c-X_cY_cZ_c绕x轴逆时针旋转θ，使得z轴与地面平行，得到旋转后的坐标系O_m-X_mY_mZ_m。根据旋转矩阵，两个坐标系有如下关系：

(2)假设植保作业机器人在作业时匀速平稳的前进，此时相机的高度H保持不变，即y_m＝H。高度不变假设相当于在空间中添加了一个地面约束，联立(4)(5)两式，可以解出z_c的值。

根据苗和杂草在相机坐标系下的坐标，能够十分容易的算出苗和杂草到相机的垂直距离，即刀苗距。刀苗距是控制植保作业机器人锄刀转速的重要参数，其数据的准确性决定了除草质量。本发明提出的计算刀苗距的方法，计算简单、效率高且不受视线遮挡的影响。根据系统实时计算出的刀苗距，植保作业机器人能够完成顺利完成除草作业。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于语义分割网络的植株检测与定位方法，其特征在于，包括以下步骤：

1)通过快速标定法确定相机的安装角度θ(安装角度指相机俯仰角的余角，

偏航角和横滚角为零)

2)通过单目相机采集农作物苗和杂草图像；

3)将图像输入到预训练完成的语义分割网络，端到端输出农作物苗和杂草的二分类掩码图片；

4)将二进制掩码图片转化为RGB格式，图像中分别包含苗和杂草的区域；

5)利用区域生长算法遍历所有苗和杂草的区域并标号，计算每块区域的质心坐标，每一帧图像保留所有的杂草质心和y坐标最大的苗的质心；

6)使用单目相机利用投影变换法根据相机高度不变假设增加地面约束，

通过地面约束与相机投影约束联立解出苗和杂草在相机坐标系下的空间位置，进而计算出刀苗距，最后将刀苗距实时的传输给植保作业机器人。

2.根据权利要求1所述的一种基于语义分割网络的植株检测与定位方法，其特征在于，根据相机内参基于OpenCV在图像中标记出主点坐标，通过调整标志物p的位置使其成像于像面主点，根据几何关系快速计算出相机的安装角度。

3.根据权利要求2所述的一种基于语义分割网络的植株检测与定位方法，其特征在于，所述图像采集单元采用RealSense D435相机。

4.根据权利要求4所述的一种基于语义分割网络的植株检测与定位方法，其特征在于，所述语义分割网络相较于其他目标检测网络能够像素级划分苗和杂草的区域，实现对苗和杂草精准的定位。

5.根据权利要求4所述的一种基于语义分割网络的植株检测与定位方法，其特征在于，利用区域生长算法遍历所有苗和杂草的区域，计算每块区域的质心坐标，为满足实际除草作业需求，每一帧图像保留所有的杂草质心和y坐标最大的苗的质心坐标。

6.根据权利要求5所述的一种基于语义分割网络的植株检测与定位方法，其特征在于，所述杂草和苗的定位过程具体为：所述基于相机高度不变假设，增加地面约束，使用单目相机利用投影变换法联立地面约束和相机投影约束，求解出苗或杂草在相机坐标系下的坐标，解算出刀苗距传输给下位机。