CN117053808B - 一种用于大田作物种植环境下的农机具自动导航方法 - Google Patents

Abstract

本发明公开了一种用于大田作物种植环境下的农机具自动导航方法，包括以下步骤：采集田间作物的RGB图像，并对RGB图像进行预处理，获得形态学图像；对形态学图像进行作物行特征点提取，获得作物行特征点；基于最小二乘法对作物行特征点进行拟合，获得初始拟合线，对初始拟合线进行优化并计算，得到田间导航线；当需要换行时，基于GPS坐标通过A*算法和TEB算法进行田外路径规划，获得田外导航线并进行田外对行操作；基于田间导航线、田外导航线和田外对行操作完成农机具自动导航。本方法通过改进现有的田间视觉导航算法能更好的与田外GPS导航算法结合，在保证导航线提取精度和可靠性的基础上更能适应农机具换行后特殊的导航场景。

Description

一种用于大田作物种植环境下的农机具自动导航方法

技术领域

本发明属于农业机械自动化领域，尤其涉及一种用于大田作物种植环境下的农机具自动导航方法。

背景技术

近年来，随着智慧农业的不断发展，农业机器人的研究与应用日益受到关注。农业机器人自动导航广泛应用于耕种、除草、农药喷洒、收割等多种农业生产活动中，极大的提升了农业作业效率。常用的导航方式包括：激光导航、惯性导航、视觉导航及GPS导航等。其中视觉导航作为一种使用视觉信息来实现导航和定位的技术，它不仅可以实现高精度、长时间的定位与导航而不会出现惯性导航的累计误差问题，而且具有成本低、智能化水平高、信息获取更丰富的特点。这些特点使视觉导航十分适合大田种植环境下农机具导航这种对实时性要求高且需要高精度、长距离的导航场景。但视觉导航无法满足农机具在田外换行时的导航需求，而GPS导航作为一种精度高、技术成熟、成本不断下降的导航技术，更适合在田外引导农机具完成换行动作。

单一的导航方式无法很好的满足农机具的自动导航需要，GPS导航采用绝对坐标导航，可以进行一定范围内的精确路径规划，而视觉导航采用相对坐标导航，对田间环境适应性更强，且实时性更好。视觉导航和GPS导航作为两种优点不同的导航方式，通过二者之间的相互配合可以更好的辅助农机具完成田间自动导航工作。

因此，针对现有技术没有大田种植环境下农机具田内、田外连续自动导航的方案，提出了一种田间视觉导航加田外GPS导航的分步导航方法，通过改进现有的田间视觉导航算法使其能更好的与田外GPS导航算法结合，在保证导航线提取精度和可靠性的基础上更能适应农机具换行后特殊的导航场景。

发明内容

为解决上述技术问题，本发明提出了一种用于大田作物种植环境下的农机具自动导航方法，以解决现有技术中没有大田种植环境下农机具田内、田外连续自动导航方案的问题。

为实现上述目的，本发明提供了一种用于大田作物种植环境下的农机具自动导航方法，包括以下步骤：

采集田间作物的RGB图像，并对所述RGB图像进行预处理，获得形态学图像；

对所述形态学图像进行作物行特征点提取，获得作物行特征点；

基于最小二乘法对作物行特征点进行拟合，获得初始拟合线，对所述初始拟合线进行优化并计算，得到田间导航线；

当需要换行时，基于GPS信息计算换行目标点的GPS坐标，基于所述GPS坐标通过A*算法和TEB算法进行田外路径规划，获得田外导航线，根据田外导航线移动后再进行田外对行操作；

基于所述田间导航线、田外导航线和田外对行操作完成农机具自动导航。

优选地，所述获得形态学图像的方法包括：采用超绿算法将RGB图像转换为灰度图像；采用最大类间方差算法确定二值化阈值，基于所述二值化阈值将灰度图像转换为二值图像；对所述二值图像进行形态学处理，得到形态学图像。

优选地，所述形态学处理的方法包括：先采用10×2卷积核对二值图像进行腐蚀，再通过3×3卷积核进行开运算，最后使用10×2卷积核进行膨胀。

优选地，所述获得作物行特征点的方法包括：将形态学图像进行等分处理，获得横向水平条带，另在图像底部取一横向水平条带，对所述横向水平条带进行垂直投影和数组化，获得数组并标号，查询图像底部所取条带对应数组内元素值连续为0的最长数据段，以最长数据段中心元素的数组序号作为导航线基准点的列坐标，以列坐标为中心向左右两侧进行作物行特征点寻找，获得作物行特征点。

优选地，寻找作物行特征点的方法包括：设置滑动窗口，滑动窗口宽度与横向水平条带宽度相同；以导航线基准点的列坐标为中心，向左右两侧移动滑窗；每移动一次滑窗，均计算滑窗范围内包含的数组元素之和；如果随着滑窗的移动，滑窗包含的元素值之和开始减少，则停止移动，并记录当前滑窗的中心点对应的数组编号，得到横向水平条带的作物行特征点，并取左右两个作物行特征点的中心为导航线参照点。

优选地，在获取其他横向水平条带的作物行特征点时，直接以上一条带获得的导航线参照点的列坐标为中心。

优选地，所述进行优化并计算的方法包括：比较每个特征点到初始拟合线的距离，剔除偏离特征点，并对剔除偏离特征点后的特征点集再次进行最小二乘法拟合，得到作物特征行线，通过两条作物特征行线的斜率计算导航线的斜率，基于两条作物特征行线的交点和导航线的斜率获得导航线。

优选地，所述计算导航线的斜率的公式为：

式中，k代表导航线斜率，k₁代表其中一条作物特征行线的斜率，k₂代表另一条作物特征行线的斜率。

优选地，换行目标点的GPS坐标的计算公式为：

式中，(x₀,y₀)表示换行目标点的GPS坐标，(x_g,y_g)表示农机具完全驶出田间后其中心的GPS坐标，l_p表示作物行距，θ表示农机具完全驶出田间后其正前方与地理上正北方之间的夹角。

优选地，田外对行时农机具横向移动距离的计算公式为：

式中，H表示农机具横向移动距离，l′表示导航线基准点与图像中心列之间的距离，H_c表示相机距离地面的高度，l_t表示农机具中心到第一行作物的距离，f表示相机的焦距。

与现有技术相比，本发明具有如下优点和技术效果：

本发明所述的大田作物种植环境下的农机具自动导航方法，通过改进现有的田间视觉导航算法使其能更好的与田外GPS导航算法结合，在保证导航线提取精度和可靠性的基础上更能适应农机具换行后特殊的导航场景。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例的农机具自动导航方法流程图；

图2为本发明实施例的导航线基准点条带投影数组图；

图3为本发明实施例的7号条带作物特征点获取图；

图4为本发明实施例的各条带特征点获取图；

图5为本发明实施例的横向位移示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例1

如图1所示，本发明提出了一种用于大田作物种植环境下的农机具自动导航方法，包括以下步骤：

采集田间作物的RGB图像，并对所述RGB图像进行预处理，获得形态学图像；

对所述形态学图像进行作物行特征点提取，获得作物行特征点；

基于最小二乘法对作物行特征点进行拟合，获得初始拟合线，对所述初始拟合线进行优化并计算，得到田间导航线；

当需要换行时，基于GPS坐标通过A*算法和TEB算法进行田外路径规划，获得田外导航线；

基于所述田间导航线和田外导航线完成农机具自动导航。

进一步地优化方案，图像预处理包含三个主要步骤：图像灰度化、二值化和形态学处理。在第一步中，采用超绿算法将RGB图像转换为灰度图。通过增加绿色通道的权重来突出植株的特征，公式(1)展示了超绿算法的计算方式：

Gray＝G*2-B-R (1)

上式中，Gary代表灰度图中像素点的灰度值，G、B和R分别代表RGB图像中像素点的三个颜色通道值。

其次，采用otsu(最大类间方差)算法确定二值化阈值，然后将灰度图像中大于阈值的像素点赋值为1，小于阈值的像素点赋值为0，将灰度图像转换位二值图像。接下来对得到的二值图像进行形态学处理，首先采用10×2卷积核对二值化图像进行腐蚀，再通过3×3卷积核进行开运算(先腐蚀后膨胀)，最后使用10×2卷积核进行膨胀。经过形态学处理使得二值化图像可以在保留植株像素点的基础上去除行间杂草像素点。二值化之后的图像中，白色(像素值为1)代表植株，黑色(像素值为0)代表背景。

进一步地优化方案，作物行特征点提取方法如下：

将经过预处理的图像沿列方向从上到下进行8等分，得到7条横向等分线；然后分别以这7条横向等分线为中心，沿列方向从上到下在图像上分别截取宽度为H_u，2H_u，3H_u，4H_u，5H_u，6H_u，7H_u的7个横向水平条带，用于作物行特征点的提取。此外，在图像底部取一个宽度为14H_u的横向水平条带，用于导航线基准点的提取。H_u可以通过公式(2)计算得到。

上式中W_c表示作物植株的株宽，H_c表示相机距离地面高度，θ_v表示相机垂直视场角，W_p表示相机所拍摄的图像的列像素数量。上述步骤中确定的8个横向条带从上到下被编号为1-8。对每个条带内的二值图像进行垂直投影，即将条带内二值图像每列的像素值相加求和。经过垂直投影后，每个条带的二值图像被转化为一个一维数组，数组的每个元素的值等于本条带内每一个像素列上所包含的植株像素的个数，数组元素个数等于图像所包含的像素列总数。例如，图2所示为8号条带对应的一维数组的图形化表达，横轴代表数组内元素的编号，纵轴代表数组内各元素的值。

对每个条带进行垂直投影和数组化之后，首先针对8号条带进行分析，遍历该条带转化成的数组，查询数组内元素值连续为0的最长数据段；然后记录能够将该数据段长度平分的元素在数组中对应的序号，并将该元素在数组中的序号作为导航线基准点的列坐标。

针对7号条带转化后得到的一维数组，以导航线基准点的列坐标为中心，向左右两侧寻找作物行特征点。寻找作物行特征点时，首先设置滑动窗口，其宽度与所在条带宽度相同；以导航线基准点的列坐标为中心，向左右两侧移动滑窗，且每次左右移动各5个单位。每移动一次滑窗，均计算滑窗范围内包含的数组元素之和；如果随着滑窗的移动，滑窗包含的元素值之和开始减少，则停止移动，并记录当前滑窗的中心点对应的数组编号。由此，可以得到7号条带对应的两个作物行特征点，如图3所示。然后，计算出这两个特征点中心对应的数组编号，作为7号条带导航线参照点。

针对6号条带转化后得到的一维数组，以7号条带导航线参照点的列坐标为中心，按照上述步骤相同的方法寻找6号条带导航线参照点，然后按照相同的方法分别找到1-5号条带对应的作物行特征点。图4所示为1-7号条带内找到的作物行特征点。

进一步地优化方案，导航线生成方法如下：

根据得到的各条带内作物特征点，利用最小二乘法拟合出左右两条作物行初始拟合线；然后比较每个特征点到初始拟合线的距离，并剔除偏离直线距离较大的特征点来进行特征点优化，得到优化前后的特征点集。对优化后的特征点集再次使用最小二乘法拟合出作物特征行线，然后根据公式(3)计算两条作物特征行线夹角平分线的斜率k，即导航线的斜率。

上式中k₁,k₂分别代表左右两条作物特征行线的斜率。得出导航线斜率k后再结合两条作物特征行线的交点即可确定最终的导航线。

进一步地优化方案，田外导航方法如下：

农机具驶出田间，在地头进行换行作业时需要采用田外导航方法。田外导航基于GPS信息来完成换行操作，首先根据公式(4)计算换行目标点的GPS坐标。

上式中，(x₀,y₀)、(x_g,y_g)分别表示换行目标点的GPS坐标和农机具完全驶出田间后其中心的GPS坐标，l_p表示作物行距，θ表示农机具完全驶出田间后其正前方与地理上正北方之间的夹角。农机具向右换行时，上式中取正号，向左换行时上式中取负号。

得到换行目标点的坐标后，利用A*算法和TEB算法分别做作全局和局部的路径规划，控制农机具移动到目标作物行的位置，然后进行对行操作。对行操作时采用与上述田间导航类似的方法来进行，首先进行图像预处理，然后基于8号条带获取导航线基准点，最后根据公式(5)计算出农机具需要移动的横向距离H，如附图5所示。

上式中，l′表示导航线基准点与图像中心列之间的距离，H_c表示相机距离地面的高度，l_t表示农机具中心到第一行作物的距离，f表示相机的焦距。

农机具完成对行操作后根据上述的田间导航方法进行田间导航。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种用于大田作物种植环境下的农机具自动导航方法，其特征在于，包括以下步骤：

采集田间作物的RGB图像，并对所述RGB图像进行预处理，获得形态学图像；

所述获得形态学图像的方法包括：采用超绿算法将RGB图像转换为灰度图像；采用最大类间方差算法确定二值化阈值，基于所述二值化阈值将灰度图像转换为二值图像；对所述二值图像进行形态学处理，得到形态学图像；

所述形态学处理的方法包括：先采用10×2卷积核对二值图像进行腐蚀，再通过3×3卷积核进行开运算，最后使用10×2卷积核进行膨胀；

对所述形态学图像进行作物行特征点提取，获得作物行特征点；

所述获得作物行特征点的方法包括：将形态学图像进行等分处理，获得横向水平条带，另在图像底部取一横向水平条带，对所述横向水平条带进行垂直投影和数组化，获得数组并标号，查询图像底部所取条带对应数组内元素值连续为0的最长数据段，以最长数据段中心元素的数组序号作为导航线基准点的列坐标，以列坐标为中心向左右两侧进行作物行特征点寻找，获得作物行特征点；

寻找作物行特征点的方法包括：设置滑动窗口，滑动窗口宽度与横向水平条带宽度相同；以导航线基准点的列坐标为中心，向左右两侧移动滑窗；每移动一次滑窗，均计算滑窗范围内包含的数组元素之和；如果随着滑窗的移动，滑窗包含的元素值之和开始减少，则停止移动，并记录当前滑窗的中心点对应的数组编号，得到横向水平条带的作物行特征点，并取左右两个作物行特征点的中心为导航线参照点；

基于最小二乘法对作物行特征点进行拟合，获得初始拟合线，对所述初始拟合线进行优化并计算，得到田间导航线；

所述进行优化并计算的方法包括：比较每个特征点到初始拟合线的距离，剔除偏离特征点，并对剔除偏离特征点后的特征点集再次进行最小二乘法拟合，得到作物特征行线，通过两条作物特征行线的斜率计算导航线的斜率，基于两条作物特征行线的交点和导航线的斜率获得导航线；

当需要换行时，基于GPS信息计算换行目标点的GPS坐标，基于所述GPS坐标通过A*算法和TEB算法进行田外路径规划，获得田外导航线，根据田外导航线移动后再进行田外对行操作；

换行目标点的GPS坐标的计算公式为：

式中，(x₀,y₀)表示换行目标点的GPS坐标，(x_g,y_g)表示农机具完全驶出田间后其中心的GPS坐标，l_p表示作物行距，θ表示农机具完全驶出田间后其正前方与地理上正北方之间的夹角；

基于所述田间导航线、田外导航线和田外对行操作完成农机具自动导航；

田外对行时农机具横向移动距离的计算公式为：

式中，H表示农机具横向移动距离，l′表示导航线基准点与图像中心列之间的距离，H_c表示相机距离地面的高度，l_t表示农机具中心到第一行作物的距离，f表示相机的焦距。

2.根据权利要求1所述的用于大田作物种植环境下的农机具自动导航方法，其特征在于，

在获取其他横向水平条带的作物行特征点时，直接以上一条带获得的导航线参照点的列坐标为中心。

3.根据权利要求1所述的用于大田作物种植环境下的农机具自动导航方法，其特征在于，

所述计算导航线的斜率的公式为：

式中，k代表导航线斜率，k₁代表其中一条作物特征行线的斜率，k₂代表另一条作物特征行线的斜率。