CN111784597B - 一种植保机器人自主导航路径检测方法及服务器、存储介质 - Google Patents

Abstract

本发明公开了一种植保机器人自主导航路径检测方法，包括以下步骤：采集图像；对图像进行分割预处理；对垄行进行区域划分，采用形态学操作进行降噪，提取垄行边缘，然后利用动态面积阈值降噪方法进行进一步的降噪；采用均值法提取特征点簇，优化特征点簇，得到最优的特征点集；利用最小二乘法结合RANSAC排异算法提取导航路径。

Description

一种植保机器人自主导航路径检测方法及服务器、存储介质

技术领域

本发明涉及一种植保机器人自主导航路径检测方法及包括该方法的服务器、存储介质。

背景技术

发明人发现垄行线特征是植保机器人自主导航所依据的核心视觉特征，Hough变换和最小二乘法是检测垄行线特征，即导航路径的主流方法。虽然方法本身都较为成熟，但是在应用于导航路径检测却效果欠佳，其原因在于由于杂草和作物茎叶大小不规则而导致的干扰特征，严重影响了导航路径的检测精度。表现为：

1)对于田间作业的植保机器人，作物垄行能够提供结构化的导航信息。在图像预处理中由于垄间杂草带来的影响，给特征点提取带来较大误差，进而影响最终的检测精度。目前解决杂草干扰，主要是采用传统的图像形态学处理方法，但效果并不理想。

2)Hough变换方法检测离散点簇的直线特征更加关注局部特征点的共线性，导致垄行中部分区域点单独成线，难以检测出一条完整直线，检测结果是由多条直线叠加而成的，不利于植保机器人导航参数的提取；且Hough变换在使用过程中处理速度较慢，参数条件难以设定，难以满足植保机器人的实时导航要求。

3)由于离群点的存在，导致直接采用最小二乘算法提取的线特征不能准确可靠地反映垄行的实际方向，这将给植保机器人导航带来不可忽略的误差。

发明内容

本发明针对以上目前技术存在的问题，有针对性地提出了解决方案。对于杂草带来的影响，在图像处理中，通过形态学处理后，提出了动态面积阈值的方法消除杂草带来的影响，该方法处理速度快，算法简单稳定；对于离散特征点簇中存在的离群点带来的影响，采用RANSAC排异算法与最小二乘相结合的垄行直线拟合方法，通过RANSAC排异算法剔除离群点提高了检测精度。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明的实施例提供了一种植保机器人自主导航路径检测方法，包括以下步骤：

采集图像；

对图像进行分割预处理；

对垄行进行区域划分，采用形态学操作进行降噪，提取垄行边缘，然后利用动态面积阈值法进一步的滤除干扰区域；

采用均值法提取特征点簇，优化特征点簇，得到最优的特征点集；

利用最小二乘法结合RANSAC排异算法提取导航路径。

作为进一步的技术方案，所述的动态面积阈值法，如下：

对二值化图由机器视觉方法提取对应的边缘轮廓图像；

计算图像中所有轮廓的面积大小，并按其大小值进行排序；

遍历所有的轮廓区域，并与面积阈值T_area进行大小比较；

对于大于阈值T_area的轮廓，保留在掩码图中；反之将该部分轮廓筛除。

第二方面，本发明还提供了一种服务器，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的植保机器人自主导航路径检测程序，所述植保机器人自主导航路径检测程序配置为前面所述的植保机器人自主导航路径检测的步骤。

第三方面，本发明还提供了一种存储介质，所述存储介质上存储有植保机器人自主导航路径检测程序，所述植保机器人自主导航路径检测程序被处理器执行时实现前面所述的植保机器人自主导航路径检测方法的步骤。

上述本发明的实施例的有益效果如下：

本发明针对以上目前技术存在的问题，有针对性地提出了解决方案。对于杂草区域带来的影响，在形态学处理后，利用动态面积阈值的方法去伪存真，该方法简便有效；对于离散特征点簇中存在的离群点带来的影响，采用RANSAC排异算法与最小二乘相结合的垄行直线拟合方法，通过RANSAC排异算法剔除离群点提高了检测精度。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明技术流程图；

图2是图像采集示意图；

图3是垄行垂直投影分割曲线；

图4是特征点提取原理示意图；

图5是随机采样一致性排异算法流程图；

图6(a)原始图像；

图6(b)提取特征点图像；

图6(c)未剔除离群点Hough变换检测结果；

图6(d)剔除离群点Hough变换检测结果；

图6(e)未剔除离群点最小二乘法检测结果；

图6(f)剔除离群点最小二乘法检测结果。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

正如背景技术所介绍的，现有技术中存在不足，为了解决如上的技术问题，本发明提出了一种植保机器人自主导航路径检测方法。

本发明的一种典型的实施方式中，如图1所示，整体的方法步骤包括：

采集图像，对图像进行分割预处理；

对垄行进行区域划分；利用形态学算法消除噪声对垄行检测的影响，提取垄行边缘；

利用动态面积阈值法滤除干扰区域；遍历所有的轮廓区域，并与面积阈值T_area进行大小比较；即对于大于阈值T_area的轮廓，保留在掩码图中；反之将该部分轮廓筛除；

采用均值法提取特征点；判断y_i＞H_img是否成立？若否，则继续提取特征，若是，则进入下一步；

剔除离群特征点；判断满足RANSAC阀值要求吗？若否，则从新剔除离群特征点；若是，则得到最优特征点集；

利用最小二乘法拟合垄行直线；生成导航路径信息，结束。

下面对上面涉及的一些步骤进行详细说明：

1.图像预处理方法如下：

在图像预处理过程中，由于农田图像中，农作物与非农作物背景的红色分量和蓝色分量与绿色分量差别较大，基于此，采用超绿色特征因子提取方法对图像灰度化处理，超绿色特征因子公式为：

I＝2G-R-B (1)

式中：G、R、B——彩色图像中绿色、红色、蓝色分量；I——转换后灰度图像的亮度值；

从处理的结果中可以看出，超绿色特征因子灰度化方法有效提高了农作物和非绿色背景的对比度，有利于减小非绿色背景带来的干扰。

经过灰度图像后，仍不能直接提取图像中垄行的特征点。因此需要对灰度图像进行二值化分割，二值图更直观表达了目标与背景区域的分割，采用最大类间方差法(简称Otsu)自适应地生成最佳阈值，对实时图像进行二值分割，可以得到黑白相间的农作物与背景的最优分割效果。

在特征点提取前，首先需要对垄行区域进行区域划分。根据我国北方平原机械化种植作物，近似平行直线的种植特点，通过调整植保机器人上摄像头倾角的大小，使得采集到的垄行在图像中呈现平行的分布，如图2所示；由垂直投影法可对垄行区域划分。

图3为摄像头采集到的玉米苗图像经过二值化处理后，得到对应的垂直投影曲线。从处理效果中可以看出，玉米苗行所在的位置出现投影值变化的峰值，从玉米苗到土壤背景，垂直投影值向下跃变，从土壤背景到玉米苗，垂直投影值向上跃变。所以在垄行与垄行之间，垂直投影曲线会呈现波谷状态，由此根据波谷可对作物垄行区域划分。

通过二值化分割后，图像中存在许多噪声区域，形态学运算可消除噪声对垄行检测的影响，增强同一垄行区域的连通性。对于存在大量空洞或者垄行连续情况不好的图像，单纯的一次形态学闭运算处理并不能达到很好的效果，本发明采用多次形态学闭运算处理。

对于垄间存在杂草的情况，通过形态学操作难以有效滤除干扰区域。由于噪声区域面积通常小于垄行轮廓区域的面积，本发明针对性的提出一种动态面积阈值降噪的方法辨别真实的垄行区域。在保留垄行整体轮廓的基础上，根据每个轮廓区域的面积大小，去除面积较小的杂草区域，具体步骤为：

2)对二值化图由机器视觉方法提取对应的边缘轮廓图像；

3)计算图像中所有轮廓的面积大小，并按其大小值进行排序；

4)遍历所有的轮廓区域，并与面积阈值T_area进行大小比较；

5)对于大于阈值T_area的轮廓，保留在掩码图中；反之将该部分轮廓筛除。

动态面积阈值T_area设置是该降噪方法的关键。由于不同帧图像的噪声面积大小不一，如果T_area设置过大，可能会滤除垄行主体部分。实验结果表明，在所测试的图片中，取排序在第30％面积值为T_area既可以保留垄行的主体部分，又可以滤除一部分噪声部分。

对于不同的作物生长状况和杂草密度，可对面积阈值调整，使其达到最佳滤波效果。对于形态学运算难以去除噪声部分可以很好的剔除，且能完整的保留垄行的轮廓。

2特征点簇提取与优化

经过上述图像预处理后，图像中仅剩以白色边缘为轮廓的垄行区域，在垄行轮廓图中，本发明以垄行的中心线点为特征点。

以白色边缘与基准线交点的横坐标平均值为特征点的横标x，其中纵坐标y由基准线间隔距离h决定，均值法提取特征点原理示意图如图4所示，计算公式为

式中：x——特征点横坐标；

N——边缘图与基准线交点个数；

x_i——边缘图与基准线交点的横坐标；

y——提取特征点纵坐标；

h——提取特征点的间隔大小；

H_img——图像的高度；

在均值法提取特征点的过程中，本发明从时间消耗和硬件内存开销的角度考虑。若逐行遍历整幅图像，其操作耗时较大，必然降低垄行检测的实时性。为此，在图像高度方向每隔h(发明中h大小取10)行取一行，即每条基准线之间的距离为h个单位像素。在不损失精度的前提下，保障了检测的实时性，并降低内存的消耗。

在实际的农田环境下，由于作物叶片大小不规则，且存在杂草等干扰，导致提取的特征点不是理想的线性分布，即出现部分离群点，若直接拟合必将影响垄行检测的精度。

为提高导航路径检测精度，本发明采用随机采样一致性排异算法(Random SampleConsensus,RANSAC)剔除离群点。首先，通过随机采样从测试点集中选取一个子集进行参数估计；然后，运用所有测试数据集对该估计模型进行检验，根据测试样本集中数据对模型的支持度，确定该模型估计的正确性。通过不断建立假设与检验的迭代，以期获取一个具有全局最优的模型参数，即获得最优垄行直线拟合。

发明所采用的RANSAC排异算法流程图如图5所示，初始化RANSAC排异算法的相关参数；从垄行样本中随机采样含有2个元素子集U_K；估计模型最优参数模型检验，判断模型精度是否提高？若提高了，则更新模型参数θ；若没有提高，则直接判断是否达到最大迭代次数K_MAX？若没有达到则从新从垄行样本中随机采样含有2个元素子集U_K，从新循环；若达到了，正如得到最优点集，根据最优点集计算最优垄行检测结果。

3垄行直线提取

Hough变换在直线提取中是一种常用的检测方法，其最大优点就是抗干扰能力强，当图像中噪声较多时，能够有效地抑制噪声的干扰。当然Hough变换也有一些缺点：计算量很大；参数难以设定；精度很难控制。

在测试中注意到，由于Hough变换方法检测离散点簇的直线特征更加关注局部特征点的一致共线性，导致垄行中部分区域点单独成线，难以检测出一条完整直线，检测结果是由多条直线叠加而成的，不利于植保机器人导航参数的提取。

为解决Hough变换带来的不足，本专利将最小二乘法结合RANSAC排异算法提取导航路径。最小二乘法能够较好地兼顾全局线特征，由于基于估计残差最小的准则，结合RANSAC排异算法，具有更高的检测精度和更好的检测性能。

通过对垄行中心线的提取，可以在u-o-v坐标系下得到一条直线，并设直线方程为v＝ku+b，其中k、b是待定系数。因此，实验中我们选取这样的k、b，使得点v＝f(u)在u_i,u_i+1,u_i+2…u_i+n(i,n∈N)处的函数值与中心直线的v_i,v_i+1,v_i+2…v_i+n值相差最小。为获得最优的参数k、b，可通过求(3)式的最小值解得

式中：M——关元k、b的二元函数

n——特征点总个数

u_i，v_i——特征点坐标值

k——垄行中心线在像素坐标系中的斜率

b——垄行中心线在像素坐标系中与V轴的截距

对(3)式M求k、b的偏导数得

式中：——函数M对变量K的偏导数；

——函数M对变量b的偏导数；

求解k、b得

从而解得最优的路径导航直线。

相比Hough变换，通过RANSAC排异算法剔除离群点后，采用最小二乘法拟合垄行直线，虽然算法处理时间有所增加，但算法仍具有实时性，垄行检测的精度明显提高，检测精度可达93.8％，通过定量分析均方根误差为3.85°，与未使用RANSAC相比，检测精度与均方根误差分别平均提高了18.8％和5.82°。表明本发明可以为植保机器人提供可靠的视觉导航路径信息。

通过上述发明，选用了几张图片进行实验比较，实验结果如下图6(a)-图6(f)所示。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种植保机器人自主导航路径检测方法，其特征在于，包括以下步骤：

采集图像；

对图像进行分割预处理；

对垄行进行区域划分，采用形态学操作进行降噪，提取垄行边缘，然后利用动态面积阈值法进一步的滤除干扰区域；所述的动态面积阈值法，包括如下：

对二值化图由机器视觉方法提取对应的边缘轮廓图像；

计算图像中所有轮廓的面积大小，并按其大小值进行排序；

遍历所有的轮廓区域，并与面积阈值T_area进行大小比较；

对于大于阈值T_area的轮廓，保留在掩码图中；反之将该部分轮廓筛除；

采用均值法提取特征点簇，优化特征点簇，得到最优的特征点集；

利用最小二乘法结合RANSAC排异算法提取导航路径；所述的利用最小二乘法结合RANSAC排异算法提取导航路径的过程如下：

通过对垄行中心线的提取，可以在u-o-v坐标系下得到一条直线，并设直线方程为v＝ku+b，其中k、b是待定系数；选取最优的参数k、b，使得点v＝f(u)在u_i,u_i+1,u_i+2…u_i+n(i,n∈N)处的函数值与中心直线的v_i,v_i+1,v_i+2…v_i+n值相差最小。

2.如权利要求1所述的植保机器人自主导航路径检测方法，其特征在于，所述的对图像进行分割预处理包括采用超绿色特征因子提取方法对图像灰度化处理。

3.如权利要求2所述的植保机器人自主导航路径检测方法，其特征在于，所述的对图像进行分割预处理还包括对对灰度化处理后的图像进行二值化分割。

4.如权利要求1所述的植保机器人自主导航路径检测方法，其特征在于，过调整植保机器人上摄像头倾角的大小，使得采集到的垄行在图像中呈现平行的分布，由垂直投影法可对垄行区域划分。

5.如权利要求1所述的植保机器人自主导航路径检测方法，其特征在于，形态学操作降噪采用的是多次形态学闭运算处理降噪。

6.如权利要求1所述的植保机器人自主导航路径检测方法，其特征在于，在优化特征点簇时采用随机采样一致性排异算法对离群点剔除。

7.一种服务器，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的植保机器人自主导航路径检测程序，所述植保机器人自主导航路径检测程序配置为如权利要求1-6任一所述的植保机器人自主导航路径检测方法的步骤。

8.一种存储介质，其特征在于，所述存储介质上存储有植保机器人自主导航路径检测程序，所述植保机器人自主导航路径检测程序被处理器执行时实现权利要求1所述的植保机器人自主导航路径检测方法的步骤。